本文探讨了政策蒸馏中教师模型的选择及其对学生模型的影响。研究表明,蒸馏指导在错误推理链上的对齐度高于理想信号,最佳蒸馏效果依赖于学生模型的能力和目标任务。提出了一种无训练的诊断框架,以提升蒸馏效果,并建议进行逐任务、逐标记的分析。
完成下面两步后,将自动完成登录并继续当前操作。