BriefGPT - AI 论文速递
·
长尾识别的双通道温度缩放校准
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
神经网络在蒸馏数据上训练时会产生过于自信的输出，需要通过温度标定和混合等校准方法进行修正。本文提出了掩码温度标定和掩码蒸馏训练方法，可以缓解蒸馏数据的限制，实现更好的校准结果，并保持数据集蒸馏的效率。
🎯
关键要点
-
神经网络在蒸馏数据上训练时会产生过于自信的输出。
-
需要通过温度标定和混合等校准方法进行修正。
-
现有的校准方法对大型源数据蒸馏产生的网络不适用。
-
蒸馏数据导致的网络不可校准，因最大逻辑概率的分布更集中。
-
提出了掩码温度标定（MTS）和掩码蒸馏训练（MDT）方法。
-
这些方法可以缓解蒸馏数据的限制，实现更好的校准结果。
-
保持数据集蒸馏的效率。
➡️
