Gensim—word2vec加载开源预训练词向量
其它相关博客:词向量模型Word2Vec模型构建训练
加载预训练词向量并使用
腾讯AI Lab预训练词向量:https://ai.tencent.com/ailab/nlp/zh/embedding.html
本文下载其中最小的文件,点此下载
from gensim.models import KeyedVectors
# 文件解压,调用txt文件
txt_file_path = ""
model = KeyedVectors.load_word2vec_format(txt_file_path, binary=False)
# 获取词表
vocab = model.vocab
# 返回两个词语的相似度
model.similarity("喜剧", "惊悚")
# 获取最相似词
model.most_similar("动作", topn=10)
# 获取词向量
model['承运人']
# 模型保存
model.save("./model/tencent_ailab_zh_d100_word2vec.model")
# 模型加载
model = KeyedVectors.load("./model/tencent_ailab_zh_d100_word2vec.model")
注:使用KeyedVectors无法继续训练
参考博客
- gensim加载预训练词向量到模型中的使用方法
- gensim加载Glove预训练模型