基准测试不确定性分离：专用任务的专用不确定性
内容提要
该文综述神经网络不确定性量化研究，区分偶然与认知不确定性，指出深度集成、蒙特卡洛Dropout和知识蒸馏可提升估计可靠性，其中ViT架构表现最优，蒸馏训练普遍更佳。方法已应用于情感识别、自然语言处理、机器翻译和图像分割，兼顾计算效率与预测准确度。
延伸解读
不确定性量化方法对比
文章比较了深度集成、蒙特卡洛Dropout和知识蒸馏等方法。深度集成在整体解决方案中表现最佳，蒙特卡洛Dropout能显式量化输出不确定性，而知识蒸馏可提升计算效率。在情感识别任务中，基于深度集成的迭代自蒸馏方法比Temperature Scaling和蒙特卡洛Dropout提供更可靠的不确定性估计。
ViT架构在不确定性估计中的优势
基于对数百个预训练ImageNet分类器的研究，ViT架构在选择性预测和不确定性估计性能上表现最优，超过其他模型。同时，蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力。这表明模型架构和训练机制共同影响不确定性估计的可靠性。
跨领域应用与效率权衡
不确定性量化已应用于情感识别、自然语言处理、机器翻译和图像分割等领域。在机器翻译中，专用不确定性预测器能降低计算成本并提高预测准确度；在图像分割中，DUDES方法能高效估计预测不确定性而不牺牲性能。这些应用显示不确定性估计在提升模型可靠性的同时，也需关注计算效率。
Q&A
神经网络不确定性量化中，aleatoric 和 epistemic 不确定性有什么区别？
文章提出了一种新的不确定性量化方法，能够区分 aleatoric 和 epistemic uncertainties。
在神经网络不确定性估计中，哪种方法整体表现最好？
实验证明 Ensembles 可以提供整体性最好的解决方案。
使用 Monte Carlo Dropout 时，softmax 函数的超参数 N 推荐设置多少？
推荐采样 softmax 函数的超参数 N 大于 100。
哪种神经网络架构在不确定性估计性能上表现最优？
ViT 架构在不确定性估计性能方面表现最优。
知识蒸馏训练方案对不确定性估计有什么影响？
蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力。
DUDES 方法主要用于解决什么应用场景的问题？
DUDES 用于高效地进行深度神经网络的预测不确定性估计，以解决自动驾驶、医学图像和机器视觉应用中模型可靠性不足的问题。
