同时操控手机和电脑，100项任务，跨系统智能体评测基准有了
内容提要
CRAB是一个跨平台多模态智能体基准测试框架，由CAMEL AI社区开发。它评估多模态语言模型智能体在跨环境任务中的表现，并提供了高效的任务和评估器构建工具。研究团队还开发了一个包含100个任务的跨平台测试数据集CRAB Benchmark-v0。实验结果显示，使用GPT-4o作为推理引擎的单智能体结构具有最高的测试点完成率。该框架为智能体评估提供了全面、灵活和贴近实际的基准测试平台。
延伸解读
跨环境任务：更贴近真实场景的智能体测试
CRAB 首次将多个设备（如手机和电脑）组合成一个环境集合，使智能体能够协调操作多个设备完成复杂任务。这种跨环境任务模拟了真实世界中用户同时使用多个设备的场景，例如在电脑上编辑文档的同时用手机发送消息。相比单一环境基准，CRAB 提供了更丰富的操作空间，能更全面地评估智能体在复杂环境中的适应能力。
图评估器：细粒度评估智能体表现
CRAB 提出了基于图的评估方法，将复杂任务分解为子任务构成的有向无环图，并引入节点激活机制确保任务顺序执行。图评估器兼顾目标导向和轨迹导向评估的优点，并创新性地引入完成率、执行效率和成本效率等指标。这些指标从多个维度反映智能体的表现，例如完成率衡量任务完成情况，执行效率关注动作数量，成本效率则考虑 token 消耗，为智能体评估提供了更细粒度的视角。
智能体结构对比：单智能体表现最佳
研究团队在 CRAB Benchmark-v0 上对比了不同智能体系统结构（单智能体、基于功能分工的多智能体、基于环境分工的多智能体）对任务完成效果的影响。实验结果显示，使用 GPT-4o 作为推理引擎的单智能体结构拥有最高的测试点完成率（35.26%）。这一发现为设计更高效的智能体系统提供了实证依据，表明在当前技术条件下，单智能体结构可能比多智能体协作更简单有效。
基准构建效率提升：子任务组合方法
随着任务复杂度增加，手动构建任务和评估器变得越来越困难。CRAB 提出了一种基于子任务组合的方法，通过将复杂任务分解为可复用的子任务，简化了跨环境任务的构建过程。这种方法减少了手动工作量，提高了基准构建效率，使研究人员能够更快速地扩展测试集。CRAB Benchmark-v0 包含 100 个任务，覆盖单平台和跨平台场景，为社区提供了可复用的评估资源。
Q&A
CRAB框架的主要功能是什么？
CRAB框架用于评估多模态语言模型智能体在跨环境任务中的表现，并提供高效的任务和评估器构建工具。
CRAB Benchmark-v0包含多少个任务？
CRAB Benchmark-v0包含100个任务，支持在Android手机和Ubuntu Linux桌面电脑上执行。
使用哪个模型在CRAB测试中获得了最高的完成率？
使用GPT-4o作为推理引擎的单智能体结构在CRAB测试中获得了最高的测试点完成率。
CRAB框架如何简化跨环境任务的构建过程？
CRAB框架提出了一种基于子任务组合的方法，简化了跨环境任务的构建过程。
CRAB框架的图评估器有什么创新之处？
CRAB的图评估器引入了新的评价指标，如完成率、执行效率和成本效率，提供了更细粒度的评估。
CRAB框架支持哪些操作系统？
CRAB框架支持Android手机和Ubuntu Linux桌面电脑两个操作系统。
