精细化对数值蒸馏
原文中文，约500字，阅读约需1分钟。发表于：。本研究解决了现有对数值蒸馏方法的局限性，提出了精细化对数值蒸馏（RLD）方法。通过动态调整教师模型的对数值，RLD有效消除了教师模型中的误导信息，同时保留重要的类别相关性，从而提升了蒸馏知识的价值和效率。实验结果表明，该方法在CIFAR-100和ImageNet数据集上优于现有技术。
知识蒸馏通过共享基于温度的软最大函数传递软标签。提出将温度设定为logit的加权标准差，并进行Z分数预处理标准化。通过预处理，学生能够关注来自教师的基本logit关系，提高蒸馏方法的性能。在CIFAR-100和ImageNet上的评估中，展示了其优越性。
