该研究提出了一种新的度量标准(ID)用于量化节点影响分布的变化,并建议在知识蒸馏中最小化这个影响差异。研究引入了一种高效的近似方法DropDistillation(DD),实证评估结果表明DD在预测稳定性和总体性能方面优于之前的方法。
完成下面两步后,将自动完成登录并继续当前操作。