0
点赞
收藏
分享

微信扫一扫

optimization问题的解决

目录

2021 - 类神经网络训练不起来怎么办(一) 局部最小值 (local minima) 与鞍点 (saddle point)

临界点critical point

基本介绍

临界点两种情况的区分

利用泰勒级数逼近(函数在某一点的泰勒展开)的方法

g和H的举例介绍

根据H区分Saddle Point和local minima

批次Batch

batch大小的比较

batch内的大小决定了一次epoch内更新参数的次数也决定了batch内所有样本计算loss的时间开销

时间的开销

训练集和测试集的效果

训练集效果

测试集效果

动量Momentum

一般的Gradient Descent

带有动量的Gradient Descent

举报

相关推荐

optimization的runtimeChunk配置

Optimization and Indexes

New Optimization

Road Optimization

Index Merge Optimization

Outer Join Optimization

WHERE Clause Optimization

0 条评论