参与、提炼、检测：注意力感知的熵提炼用于异常检测

我们提出了一种基于 DCAM（分布式卷积注意模块）的知识蒸馏方法，可以改善教师和学生网络之间的蒸馏过程，减少多类别或多对象情况下的交叉类干扰问题，并通过最小化空间维度上的相对熵和教师和学生的相同特征图之间的通道相关余弦相似性来实现尺度不变性和捕捉非线性关系。