一致性与不确定性：从黑盒视觉语言模型中鉴别不可靠的响应，以进行选择性视觉问答
内容提要
本文探讨了通过推理时间算法和置信度量化方法提高视觉语言模型的可靠性与准确性。研究表明，模型的不确定性与准确性相关，提出了新的选择回归方法和评估框架，显著提升了多种基准测试中的表现。此外，利用符合性预测方法量化不确定性，增强了模型在安全关键场景中的应用可靠性。
延伸解读
不确定性量化如何提升视觉问答可靠性
文章指出，模型的不确定性与准确性存在相关性，这为选择性视觉问答提供了依据。通过置信度量化，系统可以判断何时应放弃预测，从而避免过度式避免或错误回答。符合性预测方法进一步量化不确定性，增强了模型在安全关键场景中的可信度。这些方法不依赖外部模型，计算效率高，为实际部署提供了可行路径。
选择性预测的评估框架与基准表现
文章提出了一种新的选择回归方法和标准化评估框架，并在多个最先进基准测试中验证了其优势。例如，在基于NLI的CNN/DM和XSum子集的FRANK基准上，Sample & Select方法相比其他解码算法提高了30%的事实性，同时维持了可比的ROUGE-1 F1得分。人工验证进一步证实了其事实优越性，表明该框架能有效衡量选择性预测的质量。
提升鲁棒性的数据增强与一致性测试
针对视觉问答模型的稳健性，文章提出了自动化语义图像操作和生成合成数据的方法。通过测试模型预测的一致性，并利用编辑后的数据，模型的不一致预测显著减少。在具有挑战性的计数问题上，对三种最先进的VQA模型进行分析，结果同样适用于实际误差案例，从而实现了整体性能的提高。
Q&A
如何提高视觉语言模型的可靠性？
通过推理时间算法和置信度量化方法，可以减少过度式避免，提高系统的可靠性。
模型的不确定性与准确性有什么关系？
研究发现，模型的不确定性与准确性存在相关性，置信度量化可以用于评估这一关系。
什么是选择回归方法？
选择回归方法是一种新的方法，通过基于置信度的个体预测来提高模型在基准测试中的表现。
如何量化视觉语言模型的不确定性？
可以利用符合性预测方法来量化不确定性，从而提高模型在多选题等任务中的可靠性和稳定性。
研究中提出了哪些评估框架？
研究提出了一个标准化的评估框架，通过广泛的实验验证了其在多个基准测试中的优势。
如何减少视觉问答模型的不一致预测？
通过自动化的语义图像操作和生成合成数据，可以显著减少模型的不一致预测。
