目录
2021 - 类神经网络训练不起来怎么办(一) 局部最小值 (local minima) 与鞍点 (saddle point)
临界点critical point
基本介绍
临界点两种情况的区分
利用泰勒级数逼近(函数在某一点的泰勒展开)的方法
g和H的举例介绍
根据H区分Saddle Point和local minima
批次Batch
batch大小的比较
batch内的大小决定了一次epoch内更新参数的次数也决定了batch内所有样本计算loss的时间开销
微信扫一扫
2021 - 类神经网络训练不起来怎么办(一) 局部最小值 (local minima) 与鞍点 (saddle point)
利用泰勒级数逼近(函数在某一点的泰勒展开)的方法
batch内的大小决定了一次epoch内更新参数的次数也决定了batch内所有样本计算loss的时间开销
相关推荐