关于对大型语言模型的置信度归属
内容提要
本文探讨了大型语言模型（LLMs）对世界信念的表达及其置信度评估，提出了准确度、连贯性、一致性和应用等标准来评估不同置信度估计方法的有效性。实验结果表明，训练的隐藏状态探针提供了最可靠的置信度估计，但在语义等效输入下，模型的置信度表现不稳定，显示出改进的空间。此外，研究还探讨了引用方法在长文档处理中的应用，提出了自信度引出方法及其优缺点，并强调了对模型置信度的重新校准。
延伸解读
置信度估计方法的比较与选择
文章通过实验框架比较了不同的事实置信度估计方法，发现训练的隐藏状态探针最为可靠，但需要权重和训练数据。这意味着在实际应用中，如果资源允许，隐藏状态探针可能是首选；若资源有限，则需权衡其他方法。此外，模型在语义等效输入下的置信度不稳定，提示我们即使采用可靠方法，也需注意输入变化对置信度的影响。
长文档引用方法的评估与挑战
针对长文档处理，文章提出了包含6种任务的LAB基准，并在4个不同规模的LLM上测试了多种引用方法。结果显示，引文生成和证据提取一步到位的方式在大部分情况下表现最佳。然而，对于复杂回答，提供复杂主张的证据仍存在困难。这表明，尽管引用方法能增强可验证性，但在处理复杂主张时，证据提取和质量保障仍是挑战。
模型过度自信与重新校准
文章指出，大型语言模型在生成虚构答案时倾向于过度自信，且自信程度可能因查询中的人物国籍等因素而异。这种过度自信可能导致用户误信错误信息。为此，研究者提出了一种重新确定置信度的方法，通过取消校准与分组损失，改善了模型响应准确性与置信度的对齐。这提示我们，在实际部署中，对模型置信度进行重新校准是必要的。
不确定性量化与幻觉检测
文章探讨了大型语言模型的不确定性量化，区分了认识论不确定性和偶然性不确定性，并提出一种信息论度量来可靠检测认识论不确定性较大的情况。该方法可通过迭代提示计算，并能检测幻觉，适用于单答案和多答案响应。与传统的对数似然阈值化方法不同，这种度量在多答案情况下也能检测幻觉。这为提升模型可靠性提供了新思路。
Q&A
大型语言模型的置信度评估标准有哪些？
评估标准包括准确度、连贯性、一致性和应用等。
训练的隐藏状态探针在置信度估计中表现如何？
训练的隐藏状态探针提供了最可靠的置信度估计，但在语义等效输入下表现不稳定。
如何改善大型语言模型的置信度指标？
可以通过测量模型的不确定性和使用自信度引出方法来改善置信度指标。
大型语言模型在处理长文档时的引用方法有哪些？
主要有引导 LLM 和微调更小的 LM 两种方法。
大型语言模型的自信度过高问题如何解决？
可以通过重新确定置信度的方法来解决自信度过高的问题。
如何量化大型语言模型的不确定性？
可以通过信息论度量来检测认识论不确定性，并评估模型输出的可靠性。
