Adam有了mini版：内存占用少一半，吞吐量提升50%
原文中文，约6200字，阅读约需15分钟。
📝
内容提要
研究团队提出了一种新的优化器Adam-mini，通过减少学习率的数量来降低内存使用，并在预训练任务中取得了优秀的性能。Adam-mini在内存占用和吞吐量方面优于AdamW，对超参数不敏感。在监督式微调和强化学习任务中，Adam-mini表现更好。
❓
Q&A
Adam-mini优化器的主要优势是什么？
Adam-mini在内存占用和吞吐量方面优于AdamW，能够显著降低内存使用，同时提升训练速度。
Adam-mini是如何减少内存使用的？
Adam-mini通过为每个参数块分配单个学习率，显著减少学习率的数量，从而降低内存使用。
在什么情况下使用Adam-mini会更有利？
在硬件资源有限的情况下，使用Adam-mini可以获得更高的吞吐量，减少预训练总时间。
Adam-mini与传统的Adam优化器相比有什么不同？
Adam-mini减少了每个参数的学习率数量，优化了学习率分配，而Adam为每个参数分配单独的学习率。
Adam-mini在监督式微调任务中的表现如何？
在监督式微调任务中，Adam-mini的表现优于AdamW，尽管使用了单个学习率。
研究团队是如何发现Adam-mini的优化方法的？
研究团队通过观察Transformer的Hessian结构，发现可以通过简单技巧降低v的使用量，从而提出了Adam-mini。
🏷️
