本研究提出了Teacher2Task框架，解决多教师学习中手动聚合导致的标签亚优化和错误传播问题。通过特定输入标记和重构训练过程，将数据转化为N+1个任务，取得显著成果。

该文综述知识蒸馏研究，涵盖DistiLLM、GKD、MiniLLM、MixKD、RKD等方法，涉及散度优化、数据增强、多任务与多教师学习，旨在压缩自回归语言模型并提升性能与效率。