0
点赞
收藏
分享

微信扫一扫

正则化方法dropout

回溯 2022-03-26 阅读 83

正则化目的:防止过拟合、增强模型的泛化能力。

什么是 dropout?

注意:深度学习模型在训练时使用dropout,在测试时不使用dropout

Inverted dropout 反向随机激活

  1. 随机生成矩阵d[l]=np.random.randn(a[l].shape,a[l-1].shape)
  2. 判断d[l]中每一个元素与keep-prob的大小,若小于keep-prob则被保留下来。
  3. 新的激活向量为a[l]=np.multiply(a[l],d[l]) <这里是为了把a[l]中相应元素归零,即消除这部分的神经元 >
  4. 使得a[l]=a[l]/(keep-prob) <随机失活后恢复被保留下来神经元本身的值,即保证a[l]期望不变> 这里把第三步乘上的keep-prob又给除掉了!这是重点!!!
举报

相关推荐

0 条评论