TimeToM: 时空是解锁大型语言模型心灵理论之门的关键
内容提要
本研究通过SimToM框架提升大型语言模型（LLMs）的心智理论推理能力，提出ToMBench评估框架和OpenToM基准，分析LLMs在理解他人心理状态方面的局限性，并探讨多模态模型在社交和情感推理中的应用，发现视频可作为检验推理能力的新媒介。
延伸解读
无需训练即可提升心智理论能力
SimToM框架通过仿真理论的视角引导，在不进行额外训练或大量提示微调的情况下，显著提升了大型语言模型的心智理论推理能力。这为实际应用提供了一种高效且低成本的改进思路，尤其适合资源有限的研究或开发场景。
高阶心智理论任务仍是短板
HI-TOM基准的实验结果显示，大型语言模型在较高阶心智理论任务上的性能出现下降，表明现有模型在复杂心理状态推理方面存在明显局限。这提示研究者和开发者需谨慎对待模型在需要深层社会认知场景中的表现。
心理世界中的状态跟踪不足
OpenToM基准揭示了最先进模型在物理世界中对心理状态的建模表现出色，但在心理世界中的心理状态跟踪方面表现不足。这意味着模型可能难以处理涉及嵌套信念或误解的复杂叙事，影响其在社交推理任务中的可靠性。
视频成为检验时空推理的新媒介
研究认为视频是检验时空认知推理能力的新媒介，并开发了基于多模态语言模型的推理管道，实现对涉及社交和情感推理内容的视频的显性推理。这为评估模型在动态场景中的心智理论能力提供了新方向。
Q&A
SimToM框架如何提升大型语言模型的心智理论推理能力？
SimToM框架通过仿真理论的视角改进了大型语言模型的推理能力，无需额外训练和大量提示微调。
ToMBench评估框架的目的是什么？
ToMBench评估框架旨在高效评估大型语言模型的心智理论能力，分析其在理解他人心智状态方面的局限性。
HI-TOM基准的实验结果显示了什么？
HI-TOM基准的实验结果表明，基于大型语言模型的性能在较高阶心智理论任务上出现下降，显示了现有模型的局限性。
OpenToM基准揭示了什么问题？
OpenToM基准揭示了最先进模型在心理世界中的心理状态跟踪能力不足。
SymbolicToM方法的主要优势是什么？
SymbolicToM方法通过显式符号表示提升了阅读理解任务中的推理能力，表现出显著的理解能力提升。
多模态模型在社交和情感推理中的应用有哪些？
多模态模型通过视频作为新媒介，能够显性推理涉及社交和情感内容的任务，提升推理能力。
