通过高效可信的蒸馏教导可靠的大型语言模型

提出了一种基于知识蒸馏和自适应学习的方法，以提高模型的普适性和性能。

该方法在机器翻译、自然语言理解和零-shot跨语言转移等领域表现优异。

引入了模型校准的概念，将教师模型视为知识源和学生模型失调的检测标尺。

提出了硬门控知识蒸馏方案，显著提高了模型的泛化性能和降低校准误差。

介绍了“Distilling step-by-step”机制，通过多任务训练框架提取LLM rationales，训练更小且表现更好的模型。

MiniLLM方法利用Kullback-Leibler散度，防止学生模型过度估计教师分布的低概率区域。

DistiLLM框架通过引入倾斜的Kullback-Leibler散度损失和自适应离策略方法，构建高性能学生模型。

提出统一的校准框架和新的评估指标，增强大型语言模型的校准能力。

研究表明，校准性能依赖于度量，自一致性方法在基准数据集上表现优异。

提出了一种基于偏好的大型语言模型蒸馏框架PLaD，改善学生模型对输出质量的理解。

对大型语言模型的知识蒸馏技术进行了全面调查，探讨了不同蒸馏方法的评估任务和效果。