人机交互中大型语言模型对心理理论的能力：一种幻象？
内容提要
该文综述大型语言模型在“心智理论”与社交推理方面的研究：多智能体协作中模型表现出合作与推理能力，但规划受限且易产生幻觉，显式信念状态可改善表现。BigToM等基准显示GPT-4具备类人推理但不稳定，其他模型较弱；指令微调模型优于基础模型。SimToM等方法能提升推理，但模型仍依赖浅层启发式，评估需谨慎。
延伸解读
“心智理论”表现不等于稳健能力
文章汇总的多项研究一致指出，大语言模型在经典心智理论任务上的表现并不稳定。GPT-4虽能展现类人推理模式，但可靠性不足；其他模型表现更弱。更关键的是，模型在对抗性例子面前容易失效，说明其可能依赖浅层启发式而非真正的心理状态推理。因此，单次测试或有限基准上的高分，不足以证明模型具备稳健的心智理论能力。
指令微调为何能提升社交推理
文章提到，经过指令微调的模型在理解意图和信念等任务上优于基础模型，甚至在某些测试中超过儿童。研究者认为，这可能与语言和心智理论的相互关联有关：指令微调奖励合作性交流，使模型更关注对话者和语境。不过，这并不意味着模型真正“理解”心理状态，而是提示训练目标可能间接塑造了社交推理表现。
显式信念状态与SimToM的改进思路
在多智能体协作中，大语言模型智能体虽能合作并进行高级理论推理，却受限于长期规划优化和任务状态幻觉。文章指出，引入显式信念状态表示可以缓解这些问题，提升任务表现和推理准确性。类似地，SimToM框架通过仿真理论视角引导推理，无需额外训练即可显著提升心智理论任务表现。这些方法说明，结构化辅助能部分弥补模型自身推理的不足。
评估方法需警惕“幻象”风险
文章援引研究警告，不应从个别例子、有限基准或人设计的心理测试来评估模型的心智理论能力。模型可能只是利用语言统计规律或浅层线索通过测试，而非具备真正的心理状态表征。因此，解读大语言模型的社交推理表现时，需结合对抗性测试、多任务评估和更严谨的实验设计，避免将表面成功误认为稳健能力。
Q&A
大型语言模型在心理理论任务上表现如何？
GPT-4等模型表现出类人推理模式，但不够可靠；其他模型表现较差。基础模型大多无法解决心理理论任务，即使有专门提示。指令微调模型优于基础模型，甚至超过儿童。
为什么指令微调能提升大型语言模型的心理理论能力？
研究认为语言和心智理论互相关联，指令微调的奖励机制考虑了对话者和语境的合作性交流，这可能解释了指令微调模型在心理理论任务上的提升。
大型语言模型在多智能体协作中有什么优势和局限？
优势是表现出紧密合作行为和高级理论推理能力；局限是在管理长期视野环境和任务状态幻觉方面存在规划优化限制。通过显式信念状态表示可以减轻这些问题，改善任务表现和推理准确性。
SimToM方法如何提升大型语言模型的心理理论推理能力？
SimToM通过仿真理论的视角引导框架，在无需额外训练和大量提示微调的情况下，显著提升了大型语言模型在心理理论背景下的推理能力。
大型语言模型的心理理论能力是否稳健？
不稳健。LLM难以应对对抗性例子，表明它们依赖浅层启发式算法而非稳健的心理理论能力。研究警告不要从个别例子、有限基准测试或人设计的心理测试来评估模型。
BigToM基准是什么？它发现了什么？
BigToM是一个新的社交推理基准，用于评估大型语言模型的社交推理能力。研究发现GPT-4具有反映人类推理模式的理论思维能力，但不够可靠，而其他LLM表现较差。
