本文提出了一种新的知识蒸馏方法,通过建模教师模型各层之间的信息流,训练学生模型来模拟信息流。该方法通过适当的监督方案解决了训练过程中不同阶段的监管问题,并设计和训练了一个适当的辅助教师模型,作为一种代理模型,能够“解释”教师的工作方式给学生。实验证明该方法对于四个图像数据集和多种不同的评估设置均有效。
完成下面两步后,将自动完成登录并继续当前操作。