0
点赞
收藏
分享

微信扫一扫

pkuseg使用方法

niboac 2022-02-16 阅读 224

pkuseg使用方法

  1. 使用默认配置进行分词(如果用户无法确定分词领域,推荐使用默认模型分词)
import pkuseg

seg = pkuseg.pkuseg()           # 以默认配置加载模型
text = seg.cut('我爱北京天安门')  # 进行分词
print(text)
  1. 细领域分词(如果用户明确分词领域,推荐使用细领域模型分词)
import pkuseg

seg = pkuseg.pkuseg(model_name='medicine')  # 程序会自动下载所对应的细领域模型
text = seg.cut('我爱北京天安门')              # 进行分词
print(text)
  1. 分词同时进行词性标注,各词性标签的详细含义可参考 tags.txt
import pkuseg

seg = pkuseg.pkuseg(postag=True)  # 开启词性标注功能
text = seg.cut('我爱北京天安门')    # 进行分词和词性标注
print(text)
  1. 对文件分词
import pkuseg

# 对input.txt的文件分词输出到output.txt中
# 开20个进程
pkuseg.test('input.txt', 'output.txt', nthread=20) 
  1. 额外使用用户自定义词典
5.1 使用文件添加用户词典
import pkuseg

seg = pkuseg.pkuseg(user_dict='my_dict.txt')  # 给定用户词典为当前目录下的"my_dict.txt"
text = seg.cut('我爱北京天安门')                # 进行分词
print(text)
# my_dict.txt的文件格式
# 每行一个词语,后面可以添加该词语的词性,词语与单词之间使用Tab键分割
爱北京	v
太阳升 
我	nr
5.2 使用列表也可以加载用户词典
import pkuseg

lexicon = [('爱北京', 'v'),'太阳升',('我','nr')]  
# 列表每个元素为一个词,若词语需要添加词性,则需要添加一个由词语和词性组成的元组('词语','词性')
seg = pkuseg.pkuseg(user_dict='my_dict.txt')  # 给定用户词典为当前目录下的"my_dict.txt"
text = seg.cut('我爱北京天安门')                # 进行分词
print(text)
举报

相关推荐

0 条评论