BriefGPT - AI 论文速递
·
一致性与不确定性：从黑盒视觉语言模型中鉴别不可靠的响应，以进行选择性视觉问答
💡
原文约300字/词，阅读约需1分钟。
📝
内容提要
我们提出了一种自动化的大语言模型（LLM）转换方法，可以产生能够在每个预测中估计不确定性的具有不确定性感知能力的 LLM。我们的方法与模型和数据无关，计算效率高，不依赖外部模型或系统。我们在选择性问答环境下评估了转换模型，即尽可能回答问题同时保持给定的准确性，在必要时放弃提供预测。作为我们结果的一部分，我们在 SQuAD 抽取式问答任务和 TruthfulQA 生成式问答任务上测试了 BERT 和 Llama 2 模型变体。我们表明，使用我们方法提供的不确定性估计有选择性地回答问题，可以显著提高准确性，相比直接使用模型概率。
🎯
关键要点
-
提出了一种自动化的大语言模型（LLM）转换方法。
-
该方法能够在每个预测中估计不确定性，具有不确定性感知能力。
-
方法与模型和数据无关，计算效率高，不依赖外部模型或系统。
-
在选择性问答环境下评估转换模型，旨在保持准确性并在必要时放弃预测。
-
在 SQuAD 抽取式问答任务和 TruthfulQA 生成式问答任务上测试了 BERT 和 Llama 2 模型变体。
-
使用该方法提供的不确定性估计可以显著提高回答问题的准确性。
➡️
