心理学的 LLM 智能体：关于游戏化评估的研究
内容提要
该文汇总多项研究，提出评估大语言模型心理与能力的框架，包括用PsychoBench测试人格、人际、动机和情绪，用BOLT分析心理治疗对话行为，并采用协商游戏、自适应测试、多主体博弈等方法评估模型。结果显示GPT-4表现最强，Llama-2-70B最弱，能力差距达三倍。
延伸解读
评估框架的多样性
文章汇总了多个评估LLM心理与能力的框架，包括PsychoBench测试人格、人际、动机和情绪，BOLT分析心理治疗对话行为，以及协商游戏、自适应测试、多主体博弈等方法。这些框架从不同角度切入，表明对LLM的评估已超越传统任务，转向更复杂的心理和行为维度。
模型能力差距显著
在多主体环境基准测试中，GPT-4表现最强，Llama-2-70B最弱，能力差距达三倍。自适应测试也显示GPT-4在主题知识、数理推理和编程方面优异，可达中等水平学生的认知能力。这提示不同模型在复杂心理任务上的表现差异巨大，选型时需谨慎。
治疗师角色的局限
BOLT框架通过比较LLM治疗师与人类治疗师的行为，发现LLM的行为更接近低质量治疗，需要进一步研究来确保质量治疗。这表明尽管LLM在模拟治疗对话上有所进展，但其专业性和可靠性仍不足，直接应用于心理治疗场景存在风险。
游戏化评估的价值
文章提到游戏化评估方法，如协商游戏、GameEval等，能系统化展示LLM在协商、游戏规则遵循等方面的能力和绩效差距。这些方法具有诊断价值，且概率图模型能增强所有模型的导航能力，平均提高50%，为评估提供了新思路。
Q&A
PsychoBench 是什么？它主要评估 LLM 的哪些心理方面？
PsychoBench 是一个评估大语言模型不同心理方面的框架，包括四个明确分类的部分：人格特征、人际关系、动机测试和情绪能力。
BOLT 框架如何评估 LLM 作为心理治疗师的表现？
BOLT 是一种计算框架，用于研究 LLM 在担任治疗师角色时的对话行为。它通过上下文学习方法，基于 13 种心理治疗技术（如反映、提问、解决方案、正常化和心理教育）定量测量 LLM 的行为，并比较 LLM 治疗师与高、低质量人类治疗师的行为。
在评估 LLM 的多主体能力时，最强和最弱的模型是哪些？能力差距有多大？
最强模型是 GPT-4，最弱模型是 Llama-2-70B，它们之间存在三倍的能力差距。
自适应测试框架如何用于评估 LLM？它有什么优势？
自适应测试框架根据模型的表现动态调整测试问题的难度，从而更准确地估计模型的能力，使 LLM 可以与人类进行比较，同时使用更少的问题，更加高效。
概率图模型在多主体环境评估中起到了什么作用？
概率图模型方法增强了模型的导航能力，并证实增强了所有模型的能力，平均提高了 50%。
LLM 在游戏化评估中表现如何？
当前聊天优化的大型语言模型在一定程度上能够遵循游戏规则，并且用于衡量游戏表现和调查 LLM 的性能具有诊断价值。
