非凸随机Bregman近端梯度法及其在深度学习中的应用
摘要
最小化非凸复合目标函数的随机梯度方法通常依赖于可微分部分的Lipschitz平滑性，但该假设在二次逆问题和神经网络训练等重要问题类别中失效，导致算法在理论和实践中的不稳定性。为此，提出了一类仅需平滑自适应性的随机Bregman近端梯度法（SBPG）。SBPG使用Bregman邻近度量替代SGD中的二次近似，提供了更好的近似模型，可处理非凸目标中的非Lipschitz梯度。
建立了原始SBPG的收敛特性，证明其在非凸设置下达到最优样本复杂度。在二次逆问题上的实验结果表明，SBPG在步长选择和初始点敏感性方面具有鲁棒性。进一步提出了基于动量的变体MSBPG，通过放宽小批量大小要求同时保持最优oracle复杂度来增强收敛性。
将MSBPG应用于深度神经网络训练，利用多项式核函数确保损失函数的平滑自适应性。在基准数据集上的实验结果证实了MSBPG在训练神经网络中的有效性和鲁棒性。鉴于其在大规模优化中与SGD相比可忽略的额外计算成本，MSBPG有望成为未来应用的通用开源优化器。
关键词
随机优化 · Bregman散度 · 非凸优化 · 深度学习 · 近端梯度法
1 引言
传统随机梯度下降(SGD)方法在处理非Lipschitz梯度的非凸问题时存在局限性。本文提出的SBPG方法通过Bregman divergence构建更合适的邻近项，为这类问题提供了新的解决方案。
2 方法
2.1 SBPG算法框架
SBPG算法的核心在于使用Bregman距离函数Dψ(x,y) = ψ(x) - ψ(y) - ⟨∇ψ(y), x-y⟩替代传统的欧几里得距离，其中ψ是 Legendre函数。
2.2 动量扩展(MSBPG)
引入动量项的MSBPG变体通过累积历史梯度信息加速收敛，同时降低对小批量大小的敏感性。
3 实验验证
3.1 二次逆问题
在二次逆问题上的实验表明，SBPG在步长选择范围（0.1-2.0）内保持稳定，而传统SGD在步长大于0.5时出现发散。
3.2 深度学习应用
在CIFAR-10和ImageNet数据集上的实验证明，MSBPG在ResNet-50和VGG-16架构上实现了与Adam相当的性能，同时表现出更好的训练稳定性。
