神经网络在蒸馏数据上训练时会产生过于自信的输出,需要通过温度标定和混合等校准方法进行修正。本文提出了掩码温度标定和掩码蒸馏训练方法,可以缓解蒸馏数据的限制,实现更好的校准结果,并保持数据集蒸馏的效率。
完成下面两步后,将自动完成登录并继续当前操作。