该文章提出了一种新的知识蒸馏方法,通过将标签噪声结合到输入中来提高轻量级教师模型的性能,并保持与标准蒸馏一致性训练学生模型,以提高知识蒸馏的效果和增加模型的灵活性。
完成下面两步后,将自动完成登录并继续当前操作。