ELAD：解释引导的大型语言模型主动蒸馏
内容提要
本文综述大语言模型知识蒸馏研究，提出PaD、MiniLLM、TinyLLM等方法，将LLM推理能力迁移至小模型，减少参数与标注数据，提升推理准确率，并应用于教育评分、药物推荐等领域，弥合开源与专有模型差距。
延伸解读
知识蒸馏的核心挑战与应对
文章指出，知识蒸馏旨在将大型语言模型的能力迁移至小模型，但面临学生模型可能过度估计教师分布低概率区域的问题。MiniLLM 利用 Kullback-Leibler 散度来缓解此问题，从而在指令遵循任务中表现更佳。这提示我们，蒸馏不仅是简单的输出模仿，还需设计合适的损失函数来避免错误传播。
数据效率的显著提升
蒸馏方法能大幅减少对标注数据的依赖。例如，Distilling step-by-step 机制使用远少于微调或蒸馏所需的标注数据，仅用 80% 的可用数据，就使 770M T5 模型在基准任务上胜过 540B PaLM。这表明，通过提取 LLM 的推理依据作为额外监督，小模型可以在数据有限的情况下实现优异性能。
实际应用与性能验证
知识蒸馏已应用于教育评分和药物推荐等领域。在教育评分中，蒸馏出的学生模型参数仅 0.1M 至 0.02M，比原始模型缩小 100 倍和 10 倍，准确率却比普通神经网络模型高 12%。在药物推荐中，LEADER 方法通过提示模板和特征级蒸馏，将现有方法转化为更高效精确的形式。这些案例证明了蒸馏在资源受限场景下的实用价值。
弥合开源与专有模型的差距
蒸馏机制在大型语言模型中起着关键作用，能将专有模型（如 GPT-4）的先进功能传输到开源模型（如 LLaMA 和 Mistral）。通过数据增广和蒸馏的相互关系，可以促进更可访问、高效和可持续的人工智能解决方案。这有助于缩小专有与开源模型之间的性能差距，推动 AI 技术的普及。
Q&A
什么是PaD算法？它有什么作用？
PaD（Program-aided Distillation）是一种知识蒸馏算法，它使用程序辅助推理来强化可特化的模型，并通过自动化错误检查帮助模型克服错误的推理步骤。实验证明，PaD具有比大型语言模型更高的训练效率，并能显著提高推理能力。
知识蒸馏如何帮助小模型达到与大模型相当的性能？
知识蒸馏通过让小型学生模型学习大型教师模型的输出概率（如使用专门设计的损失函数），使学生模型能够模仿教师模型的性能。例如，一项研究显示，在7T数据集上，蒸馏的学生模型准确率与教师模型相当，而原始神经网络模型准确率显著较低（平均低28%），蒸馏模型比原始NN模型准确率高12%。
Distilling step-by-step机制有什么优势？
Distilling step-by-step机制通过在多任务训练框架内提取LLM的推理依据（rationales）作为小型模型的附加监督，训练出比LLM更小但表现更好的模型，并且使用的标注数据远少于微调或蒸馏。例如，在某个基准任务上仅使用80%的可用数据，770M的T5模型就能胜过540B的PaLM。
MiniLLM方法如何改进知识蒸馏？
MiniLLM方法利用Kullback-Leibler散度来防止学生模型过度估计教师分布的低概率区域，从而实现从生成式语言模型中提取更小的语言模型。在指令遵循情况下的广泛实验证明，MiniLLM模型的性能表现更佳。
TinyLLM如何解决知识蒸馏中的知识多样性有限问题？
TinyLLM通过从多个大型教师语言模型中学习，并引入上下文示例生成器和teacher-forcing链式推理策略，确保推理基于适当情境，从而解决知识多样性有限和缺乏丰富上下文信息的问题。在两个推理任务的六个数据集上的实验表明，尽管模型尺寸较小，TinyLLM可显著优于大型教师语言模型。
知识蒸馏在大型语言模型中有哪些实际应用？
知识蒸馏在大型语言模型中的应用包括：将专有模型（如GPT-4）的能力迁移到开源模型（如LLaMA和Mistral），弥合性能差距；应用于教育评分（自动评分）、药物推荐（如LEADER方法）等领域；以及通过数据增广和知识蒸馏的相互关系，促进更可访问、高效和可持续的AI解决方案。
