几种优化算法的比较（BGD、SGD、Adam、RMSPROP）

参考：

几种优化算法的比较（BGD、SGD、Adam、RMSPROP）_纸上得来终觉浅～的博客-CSDN博客_rmsprop缺点


机器学习中几种优化算法的比较（SGD、Momentum、RMSProp、Adam） - Glowming - 博客园

深度学习优化算法总(SGD,AdaGrad,Adam等) - 知乎

优化方法：SGD，Momentum，AdaGrad，RMSProp，Adam