AMONGAGENTS: 评估大型语言模型在交互式基于文本的社交推理游戏中的应用
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
在Mastodon平台上，研究了大型语言模型（LLMs）的潜力与威胁，发现参与者识别真实性的准确率仅为42%。通过模拟人际互动，展示了LLMs在社交推理游戏中的应用，并提出了新的评估框架，探讨其在复杂游戏环境中的决策能力和性能差距。
🔎
延伸解读
人类识别LLM的准确率有限
在Mastodon平台的实验中，参与者识别其他用户真实性的准确率仅为42%，表明人类难以区分LLM与真人。这一结果提示，在社交媒体等交互场景中，LLM可能被用于伪装身份而不易被察觉，带来潜在的安全与信任风险。
角色选择比模型选择更影响人类感知
研究发现，角色选择对人类感知的影响大于主流大型语言模型的选择。这意味着在社交推理游戏中，赋予LLM的角色设定可能比其底层模型更能决定人类如何评价其行为，为设计更自然的交互代理提供了方向。
评估框架揭示LLM在社交推理中的性能差距
研究提出了AvalonBench、DEEP和SpyGame等评估框架，用于测试LLM在社交推理游戏中的决策和语言处理能力。实验结果显示模型存在性能差距，表明当前LLM在复杂游戏环境中仍需改进，以更好地模拟人类战略沟通和适应新情境。
LLM在游戏环境中的多智能体协作评估
通过MindAgent基础设施，研究评估了LLM在游戏交互中的规划和协调能力，并引入新游戏场景和基准。这有助于理解LLM如何获取通用调度和协调技能，为未来开发更先进的自我学习模型和代理框架提供了基础。
❓
Q&A
在Mastodon平台上进行的研究发现参与者识别真实性的准确率是多少？
参与者识别真实性的准确率仅为42%。
角色选择对人类感知的影响如何？
角色选择对人类感知的影响大于主流大型语言模型的选择。
研究中使用了哪些社交推理游戏来展示大型语言模型的应用？
研究展示了大型语言模型在谈判和谋杀迷游戏中的应用。
AvalonBench测试环境的目的是什么？
AvalonBench测试环境用于评估多代理模型的决策和语言处理能力。
DEEP和SpyGame评估框架的作用是什么？
DEEP和SpyGame评估框架能够有效评估LLM的能力和适应新情境的能力。
MindAgent基础设施的主要功能是什么？
MindAgent用于评估游戏交互中的规划和协调能力。
🏷️
