文章目录
- 零、导读
- 一、无约束最优化
- 1.1 无约束最优化的定义
- 1.2 梯度下降
- 1.3 梯度下降在深度学习中的应用
- 1.4 牛顿下降法
零、导读
一、无约束最优化
1.1 无约束最优化的定义
1.2 梯度下降
1.3 梯度下降在深度学习中的应用
随机梯度下降法，对数据很敏感，错了一个，前面的计算都前功尽弃了
全批量梯度下降：比较稳定，但是计算量很大
小批量梯度优化，第一次取前256，第二次往后再取256，比较稳定，计算量也能接受
1.4 牛顿下降法
牛顿下降法是二次收敛
