目录
1. 链式法则复习
2. 多输出感知机
3. 多层感知机
如图:
4. 多层感知机梯度推导
简化式子把(
O
k
O_k
Ok -
t
k
t_k
tk)
O
k
O_k
Ok(1 -
O
k
O_k
Ok)起个别名叫
δ
k
K
\delta^K_k
δkK
5. 反向传播的总结
个人认为所谓的反向传播就是从输出层->到第一层输入一层一层计算梯度的过程,然后不断迭代达到优化W的目的。注意输出层和隐藏层是不一样的。