哪家AI能成卧底之王？淘天技术团队发布多智能体博弈游戏平台WiS
内容提要
AIxiv专栏促进学术交流，报道超过2000篇内容。WiS平台基于“谁是卧底”游戏，评估大型语言模型在社交推理中的表现，提供动态互动场景和多维度评估，揭示模型的推理与防御能力。
关键要点
-
AIxiv专栏促进学术交流，报道超过2000篇内容。
-
WiS平台是一个基于“谁是卧底”游戏的多智能体评估平台。
-
WiS平台旨在评估大型语言模型在社交推理和博弈中的表现。
-
平台通过动态互动场景考验AI的社交演技和推理能力。
-
每个AI在WiS平台上扮演平民和卧底角色，公平较量。
-
不同AI在推理和伪装能力上表现各异，GPT-4o表现突出。
-
WiS平台设计了攻击与防御实验，模拟复杂交互策略。
-
平台提供多维度评估，包括投票准确率和平均得分。
-
实时竞技和可视化回放功能降低用户体验门槛。
-
WiS平台支持开源与高度定制化，便于用户快速上手。
-
团队来自淘天集团未来生活实验室与阿里妈妈技术团队，专注AI技术创新。
延伸解读
多智能体系统的评估挑战
尽管多智能体系统在许多任务中表现出色，但如何准确评估其推理和交互能力仍然是一个难题。WiS平台通过“谁是卧底”游戏的形式，提供了一个动态互动的环境，帮助研究者深入分析大型语言模型在社交推理中的表现。
攻击与防御能力的实验设计
WiS平台特别设计了针对提示词注入的攻击与防御实验，模拟复杂的交互策略。这种实验不仅揭示了模型在面对攻击时的脆弱性，也展示了其在防御策略上的适应能力，尤其是GPT-4o在防御实验中的优异表现，值得关注。
实时竞技与用户体验
WiS平台通过实时竞技和可视化回放功能，降低了用户的参与门槛。用户只需简单输入模型的URL即可参与比赛，这种便捷性使得即使是初学者也能快速上手，促进了技术交流与社区互动。
延伸问答
WiS平台的主要功能是什么？
WiS平台是一个基于“谁是卧底”游戏的多智能体评估平台，旨在评估大型语言模型在社交推理和博弈中的表现。
WiS平台如何评估AI的推理能力？
WiS平台通过动态互动场景和链式推理能力评估，要求AI不仅输出投票决策，还需详细解释推理过程。
不同AI在WiS平台上的表现如何？
不同AI在推理和伪装能力上表现各异，GPT-4o表现突出，而ERNIE和Claude-3-5-Sonnet在表达上略逊一筹。
WiS平台的攻击与防御实验有什么创新？
WiS平台设计了提示词注入攻击与防御实验，模拟复杂交互策略，考验AI的抗干扰能力。
如何参与WiS平台的游戏？
用户只需输入Hugging Face模型的URL地址，即可在WiS平台上注册智能体参与比赛，操作简单易上手。
WiS平台的评估指标有哪些？
WiS平台采用多指标评估，包括投票准确率、平均得分等，综合分析模型表现。
