预训练的视觉不确定性
内容提要
该文综述深度神经网络不确定性估计研究，评估预训练模型表示与不确定性的可迁移性，发现ViT架构和蒸馏训练在不确定性估计上更优，集成方法比MC-dropout更可靠，并提出基于辅助损失梯度、误差对齐、贝叶斯元模型及概率分布编码器等方法，提升深度估计、运动预测和视觉语言任务中的不确定性量化与校准性能。
延伸解读
预训练模型不确定性迁移的挑战
文章指出，基于预训练模型的不确定性感知表示学习基准评估了11种预训练模型从ImageNet迁移到八个下游数据集的表现。结果显示，关注表示本身的不确定性或直接估计预测风险的方法优于基于上游类别概率的方法，但实现可迁移的不确定性量化仍是一个挑战。这意味着在实际应用中，直接迁移上游模型的不确定性估计可能不可靠，需要针对下游任务进行专门设计。
架构与训练策略对不确定性估计的影响
文章综述了多项研究，发现ViT架构在不确定性估计性能上表现最优，且蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力。这些结论基于对数百个预训练ImageNet分类器的全面研究，为选择模型架构和训练方法提供了参考。因此，在需要可靠不确定性估计的任务中，优先考虑ViT和蒸馏训练可能更有利。
集成方法与MC-dropout的可靠性对比
文章提到，一项研究比较了集成和MC-dropout两种可扩展的不确定性估计方法，结果表明集成方法提供更可靠和实用的不确定性估计。这提示在安全关键应用中，集成方法可能是更稳健的选择，而MC-dropout虽然计算高效，但在可靠性上可能不足。读者在部署不确定性估计时需权衡计算成本与估计质量。
提升不确定性量化的多种技术途径
文章介绍了多种提升不确定性量化的方法，包括基于辅助损失函数梯度、误差对齐优化、贝叶斯元模型以及概率分布编码器等。这些方法在深度估计、运动预测和视觉语言任务中提升了不确定性量化与校准性能。例如，基于辅助损失梯度的方法在KITTI和NYU深度V2基准上取得了最先进结果，而贝叶斯元模型无需额外训练数据即可增强预训练模型的不确定性量化能力。这些技术为不同应用场景提供了灵活的选择。
Q&A
预训练模型的不确定性估计中，哪种架构表现最好？
ViT架构在不确定性估计性能方面表现最优。
集成方法和MC-dropout在不确定性估计上哪个更可靠？
集成方法提供更可靠和实用的不确定性估计。
如何通过辅助损失函数的梯度来估计深度神经网络的不确定性？
通过辅助损失函数的梯度来估计不确定性，避免依赖于地面真实信息的损失定义，可以实现对固定深度估计模型的有状态压制应用。
有哪些方法可以提升预训练模型的不确定性量化能力？
基于贝叶斯元模型的方法可以增强预训练模型的不确定性量化能力，无需额外的训练数据，在图像分类中的领域外数据检测、错分检测和可信迁移学习等任务上表现更好。
概率分布编码器（PDE）在不确定性建模中有什么作用？
PDE将所有模态的表示作为概率分布映射，对不确定性建模，提出了基于概率分布的预训练任务，并在视觉和语言联合任务上实现了最先进的结果。
蒸馏训练对不确定性估计有什么影响？
蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力。
