Switch EMA：提供更好平缓度和锐度的免费午餐
原文中文，约200字，阅读约需1分钟。
📝
内容提要
在优化中使用模型EMA，提供了缩放规则，证明了其在不同架构、优化器和数据模态下的有效性。展示了模型EMA对目标模型优化的贡献，使得在小批量和大批量训练下使用EMA的方法能够以更高效的方式训练BYOL。
🏷️
