大语言模型并非（始终）贝叶斯：量化LLM概率信念的内部（不）一致性
原文英文，约400词，阅读约需2分钟。
📝
内容提要
该研究将大语言模型视为信息处理规则，通过贝叶斯更新偏差衡量其内部一致性。实验发现，非贝叶斯启发式更新常优于精确贝叶斯更新，表明模型世界模型存在错误设定。该度量可用于诊断LLM推理系统问题。
🔎
延伸解读
贝叶斯更新并非唯一最优
研究发现，在某些任务中，非贝叶斯启发式更新反而优于精确贝叶斯更新。这表明LLM对世界的概率模型可能存在错误设定，即模型内部假设与真实数据生成过程不符。因此，在评估模型推理能力时，不能简单以是否符合贝叶斯规则作为唯一标准，而应结合具体任务表现综合判断。
内部一致性作为诊断工具
该研究提出的信息处理差距指标，可用于诊断LLM推理系统的问题。通过衡量模型更新信念时偏离贝叶斯更新的程度，可以识别模型在哪些环节存在系统性偏差或错误设定。这为调试和改进LLM在医疗、法律等高风险领域的应用提供了新的视角，有助于提升其决策可靠性。
❓
Q&A
这篇论文的主要研究问题是什么？
论文研究大语言模型（LLM）在更新概率信念时是否遵循贝叶斯规则，以及其内部一致性如何。
论文提出的新方法是什么？
论文将LLM视为信息处理规则，通过计算其更新与贝叶斯更新的偏差（信息处理差距）来量化内部一致性。
论文的主要发现是什么？
非贝叶斯启发式更新在任务性能上往往优于精确贝叶斯更新，表明LLM的世界模型存在错误设定。
论文中提到的信息处理差距有什么用途？
该度量可用于诊断LLM推理系统的问题，帮助识别模型在更新信念时的潜在缺陷。
论文的实验涉及哪些证据整合方式？
实验评估了多种将证据纳入信念的方法，包括产生（近乎）贝叶斯更新的方法和使用学习启发式的方法。
为什么非贝叶斯启发式更新会优于精确贝叶斯更新？
因为LLM的概率世界模型存在错误设定，导致精确贝叶斯更新基于错误的模型，而启发式更新可能更适应实际数据分布。
🏷️
