清华大学团队研究发现,在线蒸馏中仅用一条训练query即可覆盖全量数据71.5%的学生状态,恢复大部分收益。瓶颈不在数据供给,而在算法吸收效率。多教师设定下,16条语义多样的query即可追平全量训练。建议优化算法侧训练动力学,而非堆数据。
完成下面两步后,将自动完成登录并继续当前操作。