0
点赞
收藏
分享

微信扫一扫

机器学习笔记 NLP ngram

紫荆峰 2022-02-19 阅读 90

n-gram是deep-learning时代之前的语言模型

1 n-gram

n-gram是连续的n个词组成的序列

        

2 基于n-gram的语言模型

2.1 马尔科夫假设

一个单词的概率,只依赖于之前的n-1个单词

                ​​​​​​​                               

   2.2 举例

             

2.3 n-gram的问题

2.3.1 距离太远的词

        不难发现,之前离得太远的词,即使对预测很有帮助,也不会被考虑

 

2.3.2 稀疏性问题

 

举报

相关推荐

0 条评论