重新审视 LARS 用于大批量训练神经网络的泛化

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

该研究提出了一种名为TVLARS的新算法,用于大规模批量学习中的优化器,无需热身技术即可实现稳定训练,并在使用热身技术时与其他优化器取得了相当的结果,无热身技术时超越了它们的性能。

🏷️

标签

➡️

继续阅读