从感知到信念：探索大型语言模型中理解心智理论的前继推断
内容提要
本文探讨了大型语言模型（LLMs）在理解他人心理状态（心智理论）方面的能力，提出了ToMBench评估框架和新方法。研究表明，GPT系列模型在心智理论任务中表现优于其他模型，社交推理能力接近人类水平。通过新评估范式T4D，模型在心理状态推断与行动的关联性上表现更佳。这些发现对LLMs的应用具有重要意义。
延伸解读
心智理论评估的多样化方法
文章介绍了多种评估大型语言模型心智理论能力的方法，包括ToMBench、BigToM和T4D等。这些方法从不同角度测试模型，如ToMBench提供高效评估框架，BigToM专注于社交推理，T4D则要求模型将心理状态推断与行动关联。这种多样性表明，对LLMs心智理论的评估正趋于全面，但各方法的侧重点和适用场景不同，读者需注意其局限性。
模型表现与人类水平的比较
研究发现，GPT系列模型在心智理论任务中表现优于其他模型，甚至在某些任务上接近或达到人类水平。例如，GPT-4在BigToM上反映人类推理模式，在T4D上通过FaR框架提升性能，并在高阶ToM任务中达到成年水平。然而，这些表现并不稳定，模型可靠性不足，且基础模型大多无法解决此类任务。因此，尽管进展显著，但LLMs的心智理论能力仍与人类有差距。
提升心智理论能力的策略
文章提到了几种提升LLMs心智理论能力的方法，如SimToM框架通过仿真理论视角引导推理，无需额外训练；SymbolicToM使用显式符号表示跟踪信念状态；FaR框架通过零样本提示鼓励预测和反思。这些方法在不同程度上提升了模型性能，但各有其适用条件和限制。读者应关注这些策略的实际效果和泛化能力，而非盲目应用。
对LLM应用的意义与局限
心智理论能力对LLMs在社交互动中的应用至关重要，如人机交互、合作与竞争场景。研究表明，表现最佳的LLMs已发展出普适的ToM能力，这对面向用户的应用具有潜在价值。然而，模型缺乏对微小变化的不变性，且可靠性不足，可能导致实际应用中的错误。因此，在部署相关应用时，需谨慎评估模型的心智理论能力，并考虑其局限性。
Q&A
大型语言模型如何评估其心智理论能力？
通过引入ToMBench评估框架，能够高效评估大型语言模型的心智理论能力。
GPT系列模型在心智理论任务中的表现如何？
研究发现GPT系列模型在心智理论任务中表现优于其他模型，社交推理能力接近人类水平。
什么是Thinking for Doing（T4D）评估范式？
T4D评估范式要求模型将心理状态推断与社交情境中的行动联系起来，以提升推理能力。
SymbolicToM方法的主要特点是什么？
SymbolicToM通过显式符号表示来跟踪多个角色的信念状态，提升了理解能力。
BigToM基准的目的是什么？
BigToM基准用于评估大型语言模型的社交推理能力，发现GPT-4反映人类推理模式但可靠性不足。
大型语言模型在理解他人心理状态方面存在哪些局限性？
大型语言模型在理解他人心理状态时缺乏对无关紧要或微小变化的不变性。
