精细化对数值蒸馏

BriefGPT - AI 论文速递 · 2024-08-14T00:00:00Z

知识蒸馏通过共享基于温度的软最大函数传递软标签。提出将温度设定为logit的加权标准差，并进行Z分数预处理标准化。通过预处理，学生能够关注来自教师的基本logit关系，提高蒸馏方法的性能。在CIFAR-100和ImageNet上的评估中，展示了其优越性。