权重衰退的原理

权重衰退有一个超参数正则项权重，正是这个，控制了衰退的大小

下面就来看看权重衰退是如何实现的：

我们通过使用均方范数作为硬性限制，对于所有的权重参数和偏置，我们只对权重进行限制，令其L2long的值小于一个数，如图：

而：

我们的参数更新法则就来源于此：

由于有的存在，每次在梯度下降之前，都会提前减去一次，所以每次权重的大小则额外减小了，且每下降一次，都会减一次，故多次下降之后，被减去的部分越来越多，故称作权重衰退

总结：