参数初始化的理想状态是参数正负各半,期望为0。
正确的初始化方法应该避免指数级地减小或放大输入值的大小,防止梯度“饱和”。
对于权值的初始化,Glorot提出两个准则:
- 各个层激活值的方差保持不变(正向传播)
- 各个层的梯度值的方差保持不变(反向传播)
参考
1. 神经网络参数初始化(MSRA、Xavier);
完
微信扫一扫
参数初始化的理想状态是参数正负各半,期望为0。
正确的初始化方法应该避免指数级地减小或放大输入值的大小,防止梯度“饱和”。
对于权值的初始化,Glorot提出两个准则:
参考
1. 神经网络参数初始化(MSRA、Xavier);
完
相关推荐