一分钟读论文：《数据喂饱了，算法还饿着》
内容提要
清华大学团队研究发现，在线蒸馏中仅用一条训练query即可覆盖全量数据71.5%的学生状态，恢复大部分收益。瓶颈不在数据供给，而在算法吸收效率。多教师设定下，16条语义多样的query即可追平全量训练。建议优化算法侧训练动力学，而非堆数据。
延伸解读
“状态覆盖”是理解数据效率的新视角
论文提出“状态覆盖”这一测量框架，用于量化小规模query集在训练中能覆盖多少全量数据所访问的学生状态。单条query即可覆盖71.5%，16条可达98.9%。这提示我们，评估数据效率时，不应只看数据条数，而应关注数据在训练轨迹上的实际覆盖能力。该框架为后续研究提供了新的分析工具，但需注意其尚属预印本中的新概念，有待同行评审验证。
数据“喂饱”但算法“饿着”的启示
研究发现，无论数据量多少，学生对教师的对齐速度都以相似速率放缓，表明瓶颈在于算法吸收监督的效率，而非数据供给。这挑战了“更多数据总能带来更好效果”的直觉，提示在在线蒸馏中，优化学习率、步数等训练动力学可能比单纯增加数据更有效。但结论基于数学任务和特定模型家族，推广需谨慎。
多教师蒸馏中的query选择策略
在多教师设定下，每个领域仅需16条语义多样的query即可追平全量训练，且模板query或跨域真实对话也能接近领域query的表现。这暗示query的语义多样性比领域匹配更重要，为资源受限场景提供了实用思路：优先保证query多样性，而非追求大规模或高领域相关性。不过，该结论的适用范围仍需更多实验验证。
Q&A
清华大学团队在在线蒸馏研究中发现了什么？
他们发现，在在线蒸馏中，仅用一条训练query就能覆盖全量数据71.5%的学生状态，恢复大部分收益，表明瓶颈不在数据供给，而在算法吸收效率。
什么是在线蒸馏中的状态覆盖？
状态覆盖是指全量数据蒸馏在训练中访问过的学生状态集合里，一个小query集的采样轨迹能覆盖的比例。论文用这个指标衡量少量query能多大程度模拟全量数据的效果。
为什么说在线蒸馏的瓶颈在算法吸收而不在数据供给？
因为一条query就能覆盖大部分学生状态，但学生对教师的对齐速度无论数据多少都以相似速率放缓，说明算法吸收监督的速率才是限制因素，数据再多也喂不饱算法。
多教师蒸馏中，需要多少条query才能追平全量训练？
每个领域只需16条语义多样的query即可追平全量数据的多教师训练。
论文对后训练预算的优化提出了什么建议？
建议不要继续堆数据，而应关注query之间的语义差异，并优化算法侧的训练动力学，如学习率、优化步数等，以提高吸收效率。
论文的实验结果在哪些条件下成立？
结论限定在数学任务与所测模型家族上，但报告该效应跨模型家族和任务领域稳健。
