通过N-best重排序实现精确的知识蒸馏

Apple Machine Learning Research · 2024-07-10T00:00:00Z

本研究提出了一种利用n-best reranking来增强序列级知识蒸馏的方法，通过从前n个最佳假设中提取学生模型训练数据的伪标签，并利用多样化的模型集合选择最高质量的假设作为标签。实验证明该方法在翻译任务上有效，最好的学生模型在参数较少的情况下达到了与大型翻译模型相当的准确性。