让炼丹更科学一些(十一):无调度学习率新思路

📝

内容提要

前面的多篇文章中,我们已经表明了学习率调度对终点收敛的重要性。与此同时,“无调度(Schedule-Free)学习率”一直也是训练人的理想追求:不预设学习率曲线,也不预设训练步数,训练过程随时终...

➡️

继续阅读