知识蒸馏中的 Logit 标准化

知识蒸馏方法通过共享基于温度的软最大函数传递软标签。研究者提出了一种新的预处理方法，通过设置温度为logit的加权标准差，并在应用softmax和Kullback-Leibler散度之前进行Z分数预处理标准化，以提高现有基于logit的蒸馏方法的性能。实验结果表明，该方法在CIFAR-100和ImageNet上表现出显著优越性。