一致性与不确定性：从黑盒视觉语言模型中鉴别不可靠的响应，以进行选择性视觉问答
原文约300字，阅读约需1分钟。发表于：。在黑盒子中研究选择性预测，使用邻域一致性原则识别可靠性低的图像 - 语言模型在问答任务中的响应。
我们提出了一种自动化的大语言模型（LLM）转换方法，可以产生能够在每个预测中估计不确定性的具有不确定性感知能力的 LLM。我们的方法与模型和数据无关，计算效率高，不依赖外部模型或系统。我们在选择性问答环境下评估了转换模型，即尽可能回答问题同时保持给定的准确性，在必要时放弃提供预测。作为我们结果的一部分，我们在 SQuAD 抽取式问答任务和 TruthfulQA 生成式问答任务上测试了 BERT 和 Llama 2 模型变体。我们表明，使用我们方法提供的不确定性估计有选择性地回答问题，可以显著提高准确性，相比直接使用模型概率。
