优化算法中的记忆如何隐式修改损失

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究探讨了深度学习优化中历史迭代对更新的影响,提出了一种新方法识别无记忆算法,并揭示了记忆对优化动态的隐性影响。研究表明,Lion算法缺乏AdamW的反正则化特性,理论上支持Lion算法具有更好的泛化性能。

🏷️

标签

➡️

继续阅读