权重衰减（weight decay）（L2正则化）的作用

引自:CSDN博主「Microstrong0305」

1. 权重衰减（weight decay）

L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。

1.1 L2正则化

L2正则化就是在代价函数后面再加上一个正则化项：
$$\mathcal{L}={\mathcal{L}}_0+\frac{1}{2}\times \lambda \times \frac{1}{n}\sum _w{w}^2$$

2. 小结

	optimizer_w = torch.optim.SGD(params=[net.weight], lr=lr, weight_decay=wd)  # 对权重参数衰减
    optimizer_b = torch.optim.SGD(params=[net.bias], lr=lr)  # 不对偏差参数衰减