通过社交推理游戏对大型语言模型玩家的微观分析
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
研究表明，大型语言模型（LLMs）在自我利益方面表现优异，但协调能力较差。通过多种游戏测试评估其决策能力和社交智能，发现不同角色在决策能力上存在差异。研究还探讨了LLMs在博弈论中的合作行为，发现其倾向于宽容合作。整体上，LLMs在复杂决策情境中的表现和适应性仍需提升。
❓
Q&A
大型语言模型在社交推理游戏中的表现如何？
大型语言模型在社交推理游戏中表现出色于自我利益，但协调能力较差，尤其在推断他人意图方面存在不足。
AvalonBench测试环境的目的是什么？
AvalonBench测试环境用于评估多代理模型的决策和语言处理能力，探索大型语言模型在社交推理游戏中的潜力。
不同角色在决策能力上有什么差异？
研究发现，不同角色在决策能力的四个方面存在稳定差异，显示大型语言模型能够有效扮演不同角色。
Llama2在博弈论实验中的表现如何？
Llama2在博弈论实验中表现出更强的合作倾向，倾向于宽容合作而非背叛。
GPT-4与GPT-3.5的表现有什么不同？
GPT-4在GAMA-Bench上表现最佳，得分为72.5，而GPT-3.5在鲁棒性方面表现出色但概括能力有限。
大型语言模型在复杂决策情境中的表现如何？
大型语言模型在复杂决策情境中的表现和适应性仍需提升，存在系统性偏向影响其决策能力。
🏷️
