💡
原文中文，约4300字，阅读约需11分钟。
📝
内容提要
AIxiv专栏促进学术交流，报道超过2000篇内容。WiS平台基于“谁是卧底”游戏，评估大型语言模型在社交推理中的表现，提供动态互动场景和多维度评估，揭示模型的推理与防御能力。
🎯
关键要点
- AIxiv专栏促进学术交流，报道超过2000篇内容。
- WiS平台是一个基于“谁是卧底”游戏的多智能体评估平台。
- WiS平台旨在评估大型语言模型在社交推理和博弈中的表现。
- 平台通过动态互动场景考验AI的社交演技和推理能力。
- 每个AI在WiS平台上扮演平民和卧底角色，公平较量。
- 不同AI在推理和伪装能力上表现各异，GPT-4o表现突出。
- WiS平台设计了攻击与防御实验，模拟复杂交互策略。
- 平台提供多维度评估，包括投票准确率和平均得分。
- 实时竞技和可视化回放功能降低用户体验门槛。
- WiS平台支持开源与高度定制化，便于用户快速上手。
- 团队来自淘天集团未来生活实验室与阿里妈妈技术团队，专注AI技术创新。
❓
延伸问答
WiS平台的主要功能是什么？
WiS平台是一个基于“谁是卧底”游戏的多智能体评估平台，旨在评估大型语言模型在社交推理和博弈中的表现。
WiS平台如何评估AI的推理能力？
WiS平台通过动态互动场景和链式推理能力评估，要求AI不仅输出投票决策，还需详细解释推理过程。
不同AI在WiS平台上的表现如何？
不同AI在推理和伪装能力上表现各异，GPT-4o表现突出，而ERNIE和Claude-3-5-Sonnet在表达上略逊一筹。
WiS平台的攻击与防御实验有什么创新？
WiS平台设计了提示词注入攻击与防御实验，模拟复杂交互策略，考验AI的抗干扰能力。
如何参与WiS平台的游戏？
用户只需输入Hugging Face模型的URL地址，即可在WiS平台上注册智能体参与比赛，操作简单易上手。
WiS平台的评估指标有哪些？
WiS平台采用多指标评估，包括投票准确率、平均得分等，综合分析模型表现。
➡️
