深度学习优化器个人经验汇总

参考：https://zhuanlan.zhihu.com/p/32230623
仅用作个人记录

$$\begin{gathered} g_t=▽f(w_t)根据loss计算出的梯度值 \\ {m}_t=\varphi (g_1,g_2,...,g_t)根据过去梯度惯性和当前梯度算出的一阶动量 \\ {V}_t=\phi (g_1,g_2,...,g_t)根据过去梯度和当前梯度算出的二阶动量 \\ {\eta }_t=\frac{\alpha }{\sqrt{V_t}}\ast m_t根据一阶和二阶动量以及学习率\alpha 计算需要更新的梯度 \\ {w}_{t+1}=w_t-{\eta }_t更新梯度 \end{gathered}$$

$$m_t=g_t,V_t=1,{\eta }_t=\alpha \ast g_t,w_{t+1}=w_t-{\eta }_t$$

缺点：没有考虑以往梯度的惯性，梯度下降速度慢。且容易陷入局部最优解

$$m_t={\beta }_1\ast m_{t-1}+(1-{\beta }_1)\ast g_t,{\beta }_1=0.9$$

特性：可以看到当前迭代的梯度下降绝大部分依托于以往的梯度惯性，额外考虑了些当前的梯度方向。
缺点：因额外增加了以往的惯性，容易导致梯度下降过猛导致震荡

$$g_t=▽f(w_t-\frac{\alpha }{\sqrt{V_t}}\ast m_{t-1})$$

$$V_t=\sum _{\tau =1}^t{g}_{\tau }^2,{\eta }_t=\frac{\alpha }{V_t}\ast m_t$$
$V_t$对于经常更新的$g_t$会更大，因此学习率会自动减小。然而由于$V_t$是单调递增函数，因此有可能使得学习率迅速下降接近于0，过早结束训练。

$$V_t={\beta }_2\ast V_{t-1}+(1-{\beta }_2)\ast V_t,{\beta }_2=0.999$$

$$\begin{gathered} m_t={\beta }_1\ast m_{t-1}+(1-{\beta }_1)\ast g_t,{\beta }_1=0.9 \\ {V}_t={\beta }_2\ast V_{t-1}+(1-{\beta }_2)\ast V_t,{\beta }_2=0.999, \\ {w}_{t+1}=w_t-\frac{\alpha }{\sqrt{V_t}}\ast m_t \end{gathered}$$
初始化:
$$m_0=0,V_0=0$$
然而，按照上述计算公式，训练初期梯度都接近于0，不利于训练，所以需要对梯度进行修正：
$$\begin{gathered} m_t=\frac{m_t}{1-{\beta }_1^t}, \\ {V}_t=\frac{V_t}{1-{\beta }_2^t} \end{gathered}$$