ADOPT: An Improved Adam Algorithm That Converges to Any $β_2$ at Optimal Rate

本研究提出了一种新自适应梯度方法ADOPT，解决了Adam优化算法在超参数选择上的非收敛问题。ADOPT在不依赖梯度噪声假设的情况下，以最优收敛速率实现收敛，实验结果表明其在多种任务中优于Adam及其变种。