参考:https://blog.csdn.net/weixin_44259490/article/details/90295146
视频:https://www.bilibili.com/video/BV1a14y167vh
概念
梯度与w的关系可以用梯度下降公式来表示:w=w−α ∂ c o s t ∂ w \frac{\partial cost}{\partial w} ∂w∂cost,其中w表示网络的权重, ∂ c o s t ∂ w \frac{\partial cost}{\partial w} ∂w∂cost表示损失函数对权重w的导数,即梯度,α为学习率。
w=w−α ∂ c o s t ∂ w \frac{\partial cost}{\partial w} ∂w∂cost
梯度下降是一种常用的优化算法,用于更新网络的权重和偏置,以最小化损失函数。
案例
简单案例参考:
w的梯度:
更新梯度: w = w - eta * dw
求b的梯度
更新梯度: b = b - eta * db