系列索引：菜菜的深度学习笔记 | 基于Python的理论与实现

一、误差反向传播法

（1）基础概念

数值微分虽然简单易实现，但缺点是计算上比较费时。

关于误差反向传播主要有两种方法，一种是基于数学式，另一种是基于计算图。

（2）计算图

计算图将计算过程用图形表示出来，通过多个节点和边表示。

1. 构建计算题
2. 在计算图上，从左到右进行计（这里是一种正向传播）

计算图的特征是可以通过传递“局部计算”获得最终结果，局部计算是指无论全局发生什么，都能只根据与自己相关的信息输出接下来的结果。

使用计算图的最大原因是可以通过反向传播高效计算导数。

计算图的优点是可以通过正向传播和反向传播高效地计算各个变量的导数值。

（3）链式法则

定义：如果某个函数由复合函数表示，则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。

数学式表示：
$$\frac{\delta z}{\delta x}=\frac{\delta z}{\delta t}\frac{\delta t}{\delta x}$$

（4）反向传播

这个图可以很好地理解反向传播，加法节点的反向传播会将上游的值原封不动地输出到下游，乘法节点则是乘以输入信号的翻转值。

晚安了铁汁们，最近好焦虑…