平滑符号下降的镜面下降视角

本研究解决了现有方法无法解释的ADAM等算法中更新方向偏离真实梯度的问题。通过利用镜面下降框架，我们提出了一种镜面映射，从而在某些假设下与对偶动态建立了等价关系，并揭示了调节稳定性常数可以减少KKT误差的重要性。