NLP笔记 ——序列模型

序列模型

序列数据

实际中很多数据是有时序结构的。在时序模型中，当前数据跟之前观察到的数据相关

统计工具

在时间 $t$ 观察到 $x_t$，那么得到 $T$ 个不独立的随机变量 $(x_1,...,x_T)\sim P(X)$

使用条件概率（$p(a,b)=p(a)p(b|a)=p(b)p(a|b)$）展开：

序列模型

自回归模型使用自身过去数据来预测未来

马尔科夫假设

马尔科夫模型假设当前只跟最近少数数据相关，从而简化模型

潜变量模型

使用潜变量概括历史信息