Apple Machine Learning Research
·
在大词汇量语言模型中减少损失
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
随着语言模型词汇量的增加，交叉熵的内存占用显著上升。我们提出了Cut Cross-Entropy（CCE）方法，仅计算正确标记的logit，从而显著降低内存消耗。以Gemma 2模型为例，CCE将损失计算的内存从24GB降至1MB，训练时间内存从28GB降至1GB，且不影响训练速度和收敛性。
🎯
关键要点
- 随着语言模型的词汇量增加，交叉熵的内存占用显著上升。
- 提出了Cut Cross-Entropy（CCE）方法，仅计算正确标记的logit，降低内存消耗。
- 以Gemma 2模型为例，CCE将损失计算的内存从24GB降至1MB。
- 训练时间内存从28GB降至1GB，且不影响训练速度和收敛性。
- CCE通过在闪存中执行矩阵乘法和log-sum-exp减少全局内存消耗。
- 利用softmax的稀疏性，跳过对梯度计算贡献微小的元素，以提高CCE的吞吐量。
❓
延伸问答
Cut Cross-Entropy（CCE）方法的主要优点是什么？
CCE方法显著降低了内存消耗，从而减少了交叉熵计算的内存占用。
CCE方法如何影响Gemma 2模型的内存使用？
CCE将Gemma 2模型的损失计算内存从24GB降至1MB，训练时间内存从28GB降至1GB。
CCE方法是如何计算交叉熵损失的？
CCE方法仅计算正确标记的logit，并实时评估所有logit的log-sum-exp。
CCE方法在训练速度和收敛性上有什么影响？
CCE方法在显著降低内存消耗的同时，不影响训练速度和收敛性。
CCE方法如何利用softmax的稀疏性？
CCE方法跳过对梯度计算贡献微小的元素，以提高计算吞吐量。
大词汇量语言模型中交叉熵的内存占用为何会增加？
随着语言模型词汇量的增加，交叉熵的内存占用显著上升，主要集中在单一层上。
🏷️
标签
➡️
