前置知识:
序列模型--输出/输入中包含有序列数据的模型
特点:
1.输入/输出元素之间具有顺序关系, 不同顺序得到的结果不同
2.输入输出不定长, 比如问答系统, 聊天机器人
DL--RNN
小名:循环神经网络
外国小名: sequence model
定义:
专门设计用来处理序列数据的神经网络
应用:
1.自然语言处理--NLP,例如
1.文本生成
2.机器翻译
3.情感分析
4.命名实体识别
5.问答系统
2.语音处理,例如
1.语音识别
2.语音合成
3.语音增强
3.时间序列预测, 例如
1.股价预测
2.天气预报
RNN作用原理:
RNN常见结构:
1.多输入,单输出--情感识别
2.单输入,多输出--序列数据生成器
3.多输入,多输出--语言翻译
RNN缺陷:
前部序列传递到后部的时候, 信息权重下降, 导致重要信息丢失
转化成数学问题就是: 在求解过程中, 在反推的时候, 梯度越来越小, 直到无法求解
LSTM--长短期记忆网络:
优点:解决前部信息在传递过程中出现的距离越远, 信息丢失越多的问题
原理:
增加记忆细胞, 用它来保留前部重要信息传递到后部, 详情如图
BRNN:双向循环神经网络
特点:进行判断时, 也考虑后部信息
DRNN:深层循环神经网络
特点: 为了解决更复杂的序列模型, 可以把单层RNN记性叠加, 或者在输出前与普通mlp结合使用
