本文探讨了大型语言模型（LLM）中“角色”对生成回答的影响。实验表明，角色描述对输出结果的影响有限，尤其在技术问题上。角色在开放性问题中更为重要，而在代码生成中，角色的具体描述对结果的影响较小。

本文证明了在大语言模型知识蒸馏中，逆向Kullback-Leiber（RKL）分散度是均值寻找而不是寻找模式。作者提出了一种自适应Kullback-Leiber（AKL）分散度方法，可以根据情况分配权重来结合前向Kullback-Leiber（FKL）和RKL。评估结果显示，该方法在多个任务上优于基准，并提高了生成回答的多样性和质量。