确信的不确定性：一种用于多模态认知和随机意识的基准和度量
内容提要
本文研究了视觉-语言模型的置信度量化，提出了UNK-VQA数据集以提升模型对无法回答问题的弃权能力。通过评估多模态模型的不确定性，旨在增强AI系统的可信度，并探讨贝叶斯深度学习在计算机视觉任务中的应用，提出新的损失函数和框架以提高模型的鲁棒性。
延伸解读
不确定性量化与模型可信度
文章指出，视觉-语言模型的不确定性与准确性存在相关性，但模型常表现出过度自信和较高的校准误差。这意味着仅依赖模型输出的置信度可能不可靠，需要引入不确定性量化方法来识别模型何时可能出错。这对于构建可信赖的AI系统至关重要，尤其是在决策支持场景中。
UNK-VQA数据集的作用
UNK-VQA数据集专门设计用于解决无法回答的问题，旨在提升VQA模型的弃权能力。通过评估模型在无法回答问题上的表现，可以检验其是否具备识别自身知识边界的能力。该数据集为研究者提供了一个基准，有助于推动模型在未知问题上的鲁棒性研究。
贝叶斯深度学习与不确定性建模
文章探讨了贝叶斯深度学习在计算机视觉任务中的应用，提出将输入相关的本质不确定性与表观不确定性相结合的新框架，并引入新的损失函数。这种方法在像素级语义分割和深度回归任务中提升了模型鲁棒性，并取得了新的先进结果，为不确定性建模提供了实用途径。
大型语言模型的不确定性评估
针对大型语言模型，研究通过已知-未知问题数据集和分类方法，量化了模型表达答案中的不确定性。评估发现语言和视觉-语言模型均存在较高的校准误差和过度自信问题，说明其不确定性估计能力较弱。这提示在实际应用中需谨慎对待模型输出的置信度。
Q&A
UNK-VQA数据集的目的是什么？
UNK-VQA数据集旨在提升视觉问答模型对无法回答问题的弃权能力。
如何评估多模态模型的不确定性？
通过对图像或问题进行扰动，评估多模态模型的零或少样本性能。
贝叶斯深度学习在计算机视觉中的应用是什么？
贝叶斯深度学习用于建模本质和表观不确定性，并结合输入相关的不确定性。
文章中提出了哪种新的损失函数？
文章提出了一种新的损失函数，可解释为学习的衰减，应用于像素级语义分割和深度回归任务。
如何量化神经网络输出的不确定性？
通过简单的Monte Carlo Dropout算法，可以显式地量化神经网络输出的不确定性。
大型语言模型在不确定性方面的能力如何？
大型语言模型在理解自身知识和衡量不确定性方面的能力较弱，存在较高的校准误差和过度自信的问题。
