大型语言模型在其概率或口头信心中的诚实性比较
内容提要
本研究探讨了大型语言模型（LLMs）的自信度及其可靠性，揭示了在高自信度下模型可能出现错误回答的现象。提出了MONITOR度量方法来评估模型的一致性，并发现用户对模型可信度的感知受到解释的影响。研究强调了改进模型置信度估计的重要性，并提出了一个新框架以全面评估多个答案的可信度，从而提升模型的校准能力。
延伸解读
高置信度错误与校准挑战
文章指出，大型语言模型常表现出高置信度但回答错误的情况，类似人类心理学中的邓宁-克鲁格效应，也存在低置信度但回答正确的情况。这种过度自信问题在预测中引发可靠性担忧，现有置信度估计方法因仅考虑单一答案而难以有效校准。研究强调，改进模型置信度估计对提升可靠性至关重要，尤其是在高风险应用中。
MONITOR度量与事实可靠性评估
为直接衡量模型的事实可靠性，文章提出了MONITOR度量方法，通过计算有效输出与同一模型在不同提示和上下文下产生的对应输出之间的概率分布距离来评估一致性。实验证明MONITOR效果良好且计算开销较低。作者还发布了包含210,158个提示的FKTC测试集，以促进相关研究。
用户感知与解释的影响
研究发现，用户对模型可信度的感知受解释方式影响。默认解释会导致用户过高估计模型的信心和准确性，而更准确反映模型内部可信度的解释能显著影响用户感知，增强信任和准确性评估。透明传达模型可信度在高风险应用中尤为重要，特别是需要理解AI生成信息可靠性的场景。
多答案评估框架与校准改进
针对现有方法仅考虑单一答案的局限，文章提出一种新范式，全面评估多个候选答案的可信度以减轻对错误答案的过度自信。基于此，引入两步框架：先指导模型反思并提供每个答案的理由，再汇集理由进行综合置信度估计。该框架可与现有方法结合，在三个任务的六个数据集上验证了有效性。
Q&A
大型语言模型的自信度过高会导致什么问题？
大型语言模型在高自信度下可能会给出错误的回答，类似于人类的邓宁-克鲁格效应。
MONITOR度量方法的作用是什么？
MONITOR度量方法用于评估大型语言模型的一致性和事实可靠性，计算输出之间的概率分布距离。
用户对大型语言模型可信度的感知受什么影响？
用户对模型可信度的感知受到解释的影响，默认解释可能导致用户过高估计模型的信心和准确性。
如何改善大型语言模型的校准能力？
通过全面评估多个候选答案的可信度，并引入新的框架来指导模型反思和提供理由，可以改善模型的校准能力。
现有的置信度估计方法存在哪些局限性？
现有方法通常只考虑单个答案的置信度，无法有效处理模型的过度自信问题。
大型语言模型的置信度估计如何影响高风险应用？
在高风险应用中，透明传达语言模型的可信度尤为重要，以确保用户能够理解生成信息的可靠性。
