pytorch中的lr scheduler
💡
原文中文，约4000字，阅读约需10分钟。
📝
内容提要
PyTorch中的学习率调度器核心逻辑在于`get_lr`方法，通过`last_epoch`变量控制学习率更新。调度器根据不同策略（如衰减、周期性变化）调整学习率，所有调度器基于`_LRScheduler`类，主要通过`step`方法更新学习率。
🎯
关键要点
- PyTorch中的学习率调度器都继承自_LRScheduler，核心逻辑在于get_lr方法。
- last_epoch变量用于控制学习率的更新，每次调用step方法时会加1。
- step_size是内部控制变量，用于决定是否更新学习率，并非训练模型时的step。
- milestones可以多次重复，影响学习率的衰减次数。
- 默认实现是学习率递增，且递增幅度线性减小。
- CosineAnnealingLR调度器使学习率在每个epoch中逐渐减小，直到达到最小值。
- 学习率在最大最小值之间循环，更新频率保持不变。
❓
延伸问答
PyTorch中的学习率调度器是如何工作的？
PyTorch中的学习率调度器通过`get_lr`方法和`last_epoch`变量控制学习率更新，所有调度器都继承自`_LRScheduler`类。
什么是last_epoch变量，它在学习率调度器中有什么作用？
last_epoch变量用于控制学习率的更新，每次调用`step`方法时会加1，通常在每个epoch结束时调用以同步。
PyTorch的学习率调度器有哪些不同的策略？
学习率调度器可以采用多种策略，如衰减、周期性变化等，具体实现包括CosineAnnealingLR等。
如何使用CosineAnnealingLR调度器？
使用CosineAnnealingLR调度器时，可以在每个epoch中逐渐减小学习率，直到达到最小值，然后在新的epoch开始时重新开始衰减。
step_size在学习率调度器中有什么作用？
step_size是一个内部控制变量，用于决定是否更新学习率，并不是训练模型时的step。
学习率调度器的默认实现是怎样的？
默认实现是学习率递增，且递增幅度线性减小，而不是学习率线性减小。
➡️
