让学生决策的知识蒸馏层

本文提出了一种新的知识蒸馏方法，通过建模教师模型各层之间的信息流，训练学生模型来模拟信息流。该方法通过适当的监督方案解决了训练过程中不同阶段的监管问题，并设计和训练了一个适当的辅助教师模型，作为一种代理模型，能够“解释”教师的工作方式给学生。实验证明该方法对于四个图像数据集和多种不同的评估设置均有效。