webpack5：基本概念整理

参考：https://blog.csdn.net/weixin_44259490/article/details/90295146
视频：https://www.bilibili.com/video/BV1a14y167vh

概念

梯度与w的关系可以用梯度下降公式来表示：w=w−α$\frac{\partial cost}{\partial w}$，其中w表示网络的权重，$\frac{\partial cost}{\partial w}$表示损失函数对权重w的导数，即梯度，α为学习率。

w=w−α$\frac{\partial cost}{\partial w}$

梯度下降是一种常用的优化算法，用于更新网络的权重和偏置，以最小化损失函数。

案例

简单案例参考：

w的梯度：

更新梯度： w = w - eta * dw

求b的梯度

更新梯度： b = b - eta * db

梯度与导数关系