本文提出Grams优化算法，解决了传统深度学习算法中更新方向与幅度相互依赖的问题。Grams通过分离更新方向和动量，专注于自适应幅度缩放，展现出比Adam和Lion等优化器更快的收敛速度和更强的泛化能力，显示出在大规模机器学习中的高效优化潜力。

本文研究了在线控制下的线性动态系统，提出了两种高效的在线学习算法以优化遗憾界限，并改进了传统算法，提出了新的在线线性二次控制算法，增强了在敌对扰动下的性能。同时，分析了基于梯度的在线学习算法在非凸模型中的应用，展示了其在大规模机器学习中的竞争力。