通过N-best重排序实现精确的知识蒸馏
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
本研究提出了一种利用n-best reranking来增强序列级知识蒸馏的方法，通过从前n个最佳假设中提取学生模型训练数据的伪标签，并利用多样化的模型集合选择最高质量的假设作为标签。实验证明该方法在翻译任务上有效，最好的学生模型在参数较少的情况下达到了与大型翻译模型相当的准确性。
🎯
关键要点
-
提出了一种利用n-best reranking增强序列级知识蒸馏的方法。
-
从前n个最佳假设中提取学生模型训练数据的伪标签。
-
利用多样化的模型集合选择最高质量的假设作为标签。
-
在WMT’21德英和中英翻译任务上验证了该方法的有效性。
-
实验结果表明，利用n-best reranker生成的伪标签显著提高了学生模型的准确性。
-
最佳学生模型在参数较少的情况下达到了与大型翻译模型相当的准确性。
🏷️
标签
➡️
