反向传播算法
过程
根据网络输出的答案与正确答案之间的误差，不断调整网络的参数。
- 根据误差，从最后一层逐层向前调整神经网络的参数。如果误差值为负，就提升权重，反之就降低权重。
- 其更新主要依据的数学原理是：链式求导
- 通过用损失函数对神经元上参数的链式求导，计算出总误差对神经元上参数的偏导，如果为正，则通过学习，降低该参数的值，如果为负则提升该值。目的是尽量使该偏导值接近于0。
- 每一次迭代都会更新参数，通过不停地迭代，最终会使得模型的误差下降。
参考链接：
https://blog.csdn.net/qq_29407397/article/details/90599460
一些基础
决定神经元是否好用
神经元之间连接的权重和阈值决定了神经元是否好用，训练的目的也是为了获得更为准确的权重和阈值。
学习率
在调增参数的过程中，调整的比率（大小）就称为学习率。
链式求导法则
参考链接：
https://blog.csdn.net/ws_6868/article/details/86656077
公式
总误差的公式：
链式求导举例，如图神经网络
隐含层---->输出层的权值更新：
隐含层---->隐含层的权值更新：
