0
点赞
收藏
分享

微信扫一扫

Python:jieba中文分词的使用笔记


文档:​​https://github.com/fxsjy/jieba​​

安装

pip install jieba

分词

cut/lcut(self, sentence, cut_all=False, HMM=True, use_paddle=False)

# 参数:
sentence 需要分词的字符串;
cut_all 参数用来控制是否采用全模式;
HMM 参数用来控制是否使用 HMM 模型;
use_paddle 参数用来控制是否使用paddle模式下的分词模式

切出了词典中没有的词语,效果不理想,可以关闭新词发现 HMM=False

自定义词典

格式:

词语、词频(可省略)、词性(可省略)

示例 user-dict.txt

创新办 3 i
云计算 5
凱特琳 nz
台中

载入词典

# 载入词典
jieba.load_userdict(file_name)

修改词典

# 动态修改词典
add_word(word, freq=None, tag=None)
del_word(word)

# 调节单个词语的词频
suggest_freq(segment, tune=True)

改变主词典的路径

# 加载自定义词典
jieba_token = jieba.Tokenizer(dictionary='user-dict.txt')

# 或者 手动初始化
jieba.initialize(dictionary='user-dict.txt')

# 或者 改变主词典的路径
jieba.set_dictionary('user-dict.txt')


举报

相关推荐

0 条评论