知识蒸馏是一种模型压缩方法，通过训练紧凑的学生模型来模拟复杂的教师模型。本研究提出了通用教师网络（GTN），一种一次性的基于KD的训练方法，可以有效地向任何学生模型传递知识。实验评估表明，该方法提高了整体KD的有效性，并降低了训练成本。