让炼丹更科学一些(十一):无调度学习率新思路
📝
内容提要
前面的多篇文章中,我们已经表明了学习率调度对终点收敛的重要性。与此同时,“无调度(Schedule-Free)学习率”一直也是训练人的理想追求:不预设学习率曲线,也不预设训练步数,训练过程随时终...
前面的多篇文章中,我们已经表明了学习率调度对终点收敛的重要性。与此同时,“无调度(Schedule-Free)学习率”一直也是训练人的理想追求:不预设学习率曲线,也不预设训练步数,训练过程随时终...