本文介绍了AdaBound和AMSBound两种新型变体算法，通过动态学习率边界实现自适应方法与SGD方法之间的平稳过渡，并在各种任务和模型上进行了实验，结果表明这两种方法可以消除自适应方法与SGD之间的差距，同时在训练初期保持更高的学习速度和取得显著的改进表现。