BriefGPT - AI 论文速递 · 2025-02-17T00:00:00Z Warmup Distillation: Bridging the Distribution Mismatch between Teacher and Student before Knowledge Distillation 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本研究提出了一种热身蒸馏的方法，解决了教师模型与学生模型之间的分布不匹配问题。该方法通过对齐学生与教师的知识，显著提升了蒸馏性能，实验结果显示在多个基准测试中平均得分提高了至少0.4，数学任务的准确率提高了1.9%。 🏷️ 标签 学生模型 性能提升 教师模型 热身蒸馏 知识蒸馏 阅读原文 生成长图 分享链接 已复制链接
