动量法的性能分析:频域视角
📝
内容提要
本研究解决了动量系数选择不明确的问题,这限制了对动量在随机梯度方法中作用的理解。通过将动量法解释为梯度的时变滤波器,提出了一种频域分析框架,从而形成了动态调整滤波特性的启发式优化器FSGDM,显著提高了模型的泛化性能。
➡️
本研究解决了动量系数选择不明确的问题,这限制了对动量在随机梯度方法中作用的理解。通过将动量法解释为梯度的时变滤波器,提出了一种频域分析框架,从而形成了动态调整滤波特性的启发式优化器FSGDM,显著提高了模型的泛化性能。