0

点赞

收藏

分享

机器人写诗项目——递归神经网络（RNN）

小亦同学321 2022-03-24 阅读 49

标签: 神经网络递归反向传播人工智能

传统神经网络与递归神经网络对比

传统神经网络

机器人写诗项目——递归神经网络（RNN）_递归

递归神经网络

机器人写诗项目——递归神经网络（RNN）_反向传播_02

等价于

机器人写诗项目——递归神经网络（RNN）_递归_03

RNN网络细节

机器人写诗项目——递归神经网络（RNN）_神经网络_04

x_t表示第t=1,2,3…step的input

s_t为隐藏层的第t step的state，它是网络的记忆单元

s_t=f(Ux_t+Ws_t-1)，其中f一般是非线性的激活函数

o_t是第t step的output，如下个单词的向量表示softmax(Vs_t)

RNN的反向传播

机器人写诗项目——递归神经网络（RNN）_神经网络_05

RNN升级LSTM

机器人写诗项目——递归神经网络（RNN）_递归_06

C：控制参数

决定什么样的信息会被保留，什么样的会被遗忘。

要通过训练得到。

机器人写诗项目——递归神经网络（RNN）_反向传播_07

门是一种信息选择式通过的方法

sigmoid神经网络层和一乘法操作

机器人写诗项目——递归神经网络（RNN）_递归_08

Sigmoid层输入0~1之间的数值，描述每个部分有多少量可以通过。

0代表“不允许任何量通过”，1代表“允许任意量通过”。

机器人写诗项目——递归神经网络（RNN）_递归_09

决定丢弃信息

机器人写诗项目——递归神经网络（RNN）_神经网络_10

机器人写诗项目——递归神经网络（RNN）_反向传播_11

确定更新的信息

机器人写诗项目——递归神经网络（RNN）_反向传播_12

机器人写诗项目——递归神经网络（RNN）_神经网络_13

更新细胞状态

机器人写诗项目——递归神经网络（RNN）_反向传播_14

机器人写诗项目——递归神经网络（RNN）_神经网络_15

输出信息

机器人写诗项目——递归神经网络（RNN）_反向传播_16

利用新的控制参数产生output

机器人写诗项目——递归神经网络（RNN）_递归_17

LSTM网络架构

机器人写诗项目——递归神经网络（RNN）_神经网络_18

0 条评论

小亦同学321

关注