让炼丹更科学一些(八):多阶段训练的学习率

📝

内容提要

上篇文章《让炼丹更科学一些(七):步长调度与权重平均》我们简单介绍了无调度(Schedule-Free)学习率的工作,它试图通过某种权重平均来替代学习率调度,实现常数学习率就可以训出最优模型的效...

➡️

继续阅读