非语言社交互动中信念预测的明确理论心智建模
内容提要
本文介绍了机器理论心智（ToM）的研究进展，重点讨论了Symbolic ToM方法、神经网络架构和多模态心智问答基准。研究表明，结合低层次和高层次心智状态的模型能提高意图预测的准确性。同时，探讨了大型语言模型在社交推理中的能力及其与人类认知的相似性，强调了标准评估和数据集的重要性。
延伸解读
从符号到神经：机器心智建模的两条路径
文章梳理了机器理论心智（ToM）的两类主要方法：SymbolicToM 通过显式符号表示跟踪多个角色的信念状态，在 ToMi 基准上提升了阅读理解能力；而神经 ToM 架构则通过学习过去轨迹的潜在特征向量来调节预测，增强情感理解。两者分别强调可解释的符号推理与数据驱动的表示学习，为后续混合模型提供了基础。
多模态与视频：检验心智推理的新场景
文章指出，人类推理常基于动态场景和时间，因此视频成为检验时空认知推理的新媒介。研究者开发了基于多模态语言模型的推理管道，对涉及社交和情感推理的视频进行显性推理，并通过检索关键帧来揭示模型如何推理认知理论。这扩展了传统基于文本的 ToM 评估，更贴近真实互动。
大语言模型的社交推理能力与局限
文章提到，大型语言模型展现出与人类理论心智相似的特征，其内部神经元能表征自我和他人信念，并在多种社会推理任务中表现出泛化潜力。然而，在 MMToM-QA 基准上，包括 GPT-4 在内的先进模型仍缺乏强大的心智理解能力，而 BIP-ALM 结合基于模型的推理与语言模型能力展现了有希望的结果。
标准化评估与大规模数据集的重要性
文章综述指出，机器 ToM 研究面临任务和数据集多样、模型适用条件各异等挑战。作者认为，提出标准的评估标准和覆盖 ToM 多个方面的大规模数据集，是解决这些困难的有效方法之一。这有助于更公平地比较不同模型，推动具有人类级社交智能的机器发展。
Q&A
什么是Symbolic ToM方法，它的主要优势是什么？
Symbolic ToM方法通过显式符号表示来跟踪多个角色的信念状态，显著提升了阅读理解能力。
新的神经ToM架构是如何提高情感理解能力的？
新的神经ToM架构通过学习过去轨迹的潜在特征向量，乘性调节预测机制来提高情感理解能力。
ToMMY模型的特点是什么，它如何推断他人的意图？
ToMMY模型结合神经记忆机制和分层注意力，能够快速准确地推断他人的意图和信念。
大型语言模型在社交推理中的表现如何？
大型语言模型展现出与人类理论心智的相似性，但仍缺乏强大的心智理解能力。
多模式心智问答基准的目的是什么？
多模式心智问答基准旨在综合评估机器的心智理解能力，基于多模式数据进行评估。
如何通过视频检验机器的时空认知推理能力？
通过使用视频和文本开发基于多模态语言模型的推理管道，检验机器的时空认知推理能力。
