IDEA剪枝：生成式语言模型预训练中的集成式扩大-剪枝流水线
内容提要
本文提出一种集成式“扩大-剪枝”流水线，用于生成式语言模型预训练。该方法将扩大模型训练、剪枝和恢复整合到单一余弦退火学习率计划中，并引入迭代结构化剪枝，以缓解知识损失并优化神经元容量分配。实验表明，在将2.8B模型压缩至1.3B（预训练达2T tokens）时，该方法提升了剪枝模型的性能，并揭示了扩大预训练的token效率优势。
延伸解读
集成式流水线的核心优势
本文提出的集成式扩大-剪枝流水线，将扩大模型训练、剪枝和恢复整合到单一余弦退火学习率计划中，避免了传统方法中因学习率上升导致的知识损失。这种设计使得整个流程更加平滑，有助于在压缩模型的同时保持性能，为预训练阶段的效率优化提供了新思路。
迭代结构化剪枝的作用
文章引入的迭代结构化剪枝方法，通过逐步移除参数，实现了对幸存神经元容量的有效再分配。这一机制不仅缓解了知识损失，还促进了模型的平滑压缩，使得在将2.8B模型压缩至1.3B时，剪枝后的模型性能得到提升，展示了结构化剪枝在生成式语言模型预训练中的潜力。
扩大预训练的token效率启示
实验表明，扩大模型预训练在token效率上具有优势，即使扩大后的模型最终不被部署，其预训练过程也能为剪枝后的模型带来性能提升。这一发现挑战了传统上仅关注目标大小模型训练的认知，提示在资源有限的情况下，扩大预训练可能是一种更有效的策略。
Q&A
IDEA剪枝方法的核心思想是什么？
IDEA剪枝提出了一种集成式扩大-剪枝流水线，将扩大模型预训练、剪枝和恢复整合到单一余弦退火学习率计划中，并引入迭代结构化剪枝，以缓解知识损失并优化神经元容量分配，从而提升剪枝后模型的性能。
IDEA剪枝与传统的先训练后剪枝方法有何不同？
传统方法通常先训练一个目标大小的模型，或者先训练大模型再单独进行剪枝和恢复，而IDEA剪枝将扩大模型训练、剪枝和恢复视为一个整体，在单一学习率计划下协同进行，避免了分开处理带来的知识损失和效率低下。
为什么在剪枝前要扩大模型预训练？
扩大模型预训练可以提供更丰富的知识表示，有助于在剪枝后保留关键信息，提升剪枝模型的性能。尽管扩大模型本身不会部署，但其预训练过程能带来token效率优势，使得最终剪枝模型比直接训练目标大小模型更优。
IDEA剪枝中的迭代结构化剪枝是如何工作的？
迭代结构化剪枝在训练过程中逐步移除参数，而不是一次性剪枝。它通过渐进的方式调整模型结构，使剩余神经元能够重新分配容量，从而缓解剪枝带来的性能下降，并促进平滑压缩。
IDEA剪枝在实验中取得了哪些成果？
实验将2.8B模型压缩至1.3B，预训练数据量达2T tokens，结果表明该方法提升了剪枝模型的性能，并揭示了扩大预训练的token效率优势。
IDEA剪枝方法主要解决什么问题？
主要解决在有限推理预算下，如何高效获得可部署的模型。通过集成扩大-剪枝流水线，在预训练阶段同时优化模型压缩，以提升剪枝模型的性能并降低训练成本。
