文章目录

• 1 梯度下降引入
• 2 计算图
• 3 链式求导

写在前面：之前学习的都是简单的预测问题，涉及的函数是一维线性函数，在本节内容中，要开始介绍稍微复杂一点的神经网络了，参数w不再是1个，而是很多个！

1 梯度下降引入

• 在第一列的五个圆圈和六个圆圈之间，我们可以看到有30条线。第一列的五个圆圈表示51的输入x，第二列表示第一层的61输出，那么中间

• 很显然是一个6*5的权重矩阵。也就是说，这里一共有30个参数。

是否能做这样一个算法，将整个网络看成一个计算图，可以在计算图上传播梯度，最后根据链式法则把梯度求出来，这种算法呢，就可以称之为反向传播算法。

2 计算图

• 其中，MM表示矩阵乘法。

• 但是，对于这样的两层直接输入输出的网络层来说，按照上图的方式可以进行化简，并最终可以化简得到一个线性层。（所以，这两层完全没有意义，其实就是相当于一层）
  
• 因此，我们就要在第一层结束之后，加一个非线性的函数。如下图所示。

3 链式求导

• 前向传播的过程很好理解，就是$f=w\ast x$，算loss的过程这里省略。
• 反向传播呢，就是在算出loss之后，需要求出loss对z的导数，然后在算出f的时候，记录下z对x的导数和x对w的导数，然后在往前，根据链式法则得到loss对x的导数和loss对w的导数！

导数是存储在变量中的，不是计算模块中的