PHAnToM: 大型语言模型中个性对心智理论推理的影响
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
大型语言模型社交推理研究综述显示：GPT-4具备类人心理理论能力但不够可靠，其他模型表现较差。心理测量测试表明，模型普遍呈现高开放性、低外向性，参数越多越开放负责。上下文学习和SimToM框架可提升心理理论推理，但模型依赖浅层启发式，难以应对对抗性例子，行为不稳健。模型内部存在自我和他人信念表征，对社交推理具关键作用。
🔎
延伸解读
心智理论能力：GPT-4领先但不可靠
文章指出，GPT-4在心理理论任务上表现出类人推理模式，但可靠性不足，其他模型表现更差。这提示我们，尽管大模型在社交推理上取得进展，但实际应用中仍需谨慎，不能过度依赖其判断。
模型人格特质：高开放、低外向，参数影响显著
心理测量测试显示，大语言模型普遍呈现高开放性和低外向性，且参数越多越开放和负责。这表明模型规模可能影响其模拟的人格特质，但微调影响较小，对个性化交互设计有参考意义。
提升心智理论：上下文学习与SimToM框架
通过上下文学习和SimToM框架，无需额外训练即可提升模型的心智理论推理能力。然而，模型仍依赖浅层启发式，难以应对对抗性例子，行为不稳健，因此评估时需避免个别案例和有限基准。
内部信念表征：社交推理的关键
研究发现，模型内部线性解码出自我和他人信念的表征，这些表征对社交推理至关重要，并能在多种任务中泛化。这为理解模型社交认知机制提供了新视角，但需进一步验证其稳健性。
❓
Q&A
大型语言模型在心理理论推理方面的整体表现如何？
GPT-4 表现出类人心理理论能力但不够可靠，其他模型表现较差。
大型语言模型通常表现出怎样的人格特质？
模型普遍呈现高开放性和低外向性，参数越多越倾向于开放性和责任心。
有哪些方法可以提升大型语言模型的心理理论推理能力？
上下文学习和 SimToM 框架可以提升心理理论推理能力。
大型语言模型的心理理论推理存在哪些局限性？
模型依赖浅层启发式，难以应对对抗性例子，行为不稳健。
大型语言模型内部是否具有信念表征？
模型内部存在自我和他人信念的表征，对社交推理具有关键作用。
评估大型语言模型的心理理论能力时需要注意什么？
不要从个别例子、有限的基准测试和使用人设计的心理测试来评估模型。
🏷️
