本文探讨了大型语言模型（LLM）中“角色”对生成回答的影响。实验表明，角色描述对输出结果的影响有限，尤其在技术问题上。角色在开放性问题中更为重要，而在代码生成中，角色的具体描述对结果的影响较小。

本文介绍了多种语言模型知识蒸馏方法，如 MiniLLM、L2KD 和 DistiLLM，强调 Kullback-Leibler 散度在模型优化中的重要性。这些方法在提升模型性能、适应新任务和降低隐私风险方面表现出色，尤其在生成回答的多样性和质量上。