【优化技巧】指数移动平均EMA的原理

前言

在深度学习中，经常会使用EMA(exponential moving average)方法对模型的参数做平滑或者平均，以求提高测试指标，增加模型鲁棒性。

参考

1. ​​【优化技巧】指数移动平均（EMA）的原理及PyTorch实现​​；

2. ​​理解滑动平均(exponential moving average)​​；

3.​​demo​​;

4. ​​移动平均算法公式​​；

完