移动贝奇：一种用于基于 LLM 的移动代理的评估基准
内容提要
本文介绍了MobileAgentBench、CityBench和TaskBench等基准测试工具的开发，旨在评估大型语言模型在移动平台、城市领域和任务自动化中的性能。研究强调了标准化评估的重要性，并提出了针对家庭服务和数学能力的基准测试，以推动语言模型的进步和应用。
延伸解读
移动代理评估的挑战与基准设计
文章指出，移动代理评估面临应用程序状态无穷和可行操作序列定义模糊的挑战。MobileAgentBench 作为高效且用户友好的基准测试工具，旨在对现有移动代理进行全面和系统性的性能比较。这反映了移动代理评估需要标准化工具来应对动态环境，为后续研究提供可比较的基线。
城市领域LLM评估的进展
CityBench 是第一个用于评估大规模语言模型在城市领域能力的系统性基准。它通过 CitySim 整合多源数据并模拟细粒度城市动态，设计了7个任务评估 LLM 作为城市规模世界模型的感知理解和决策能力。在13个城市的13个知名 LLM 上的实验表明其可扩展性和效果，为未来城市领域 LLM 发展提供了启示。
任务自动化基准的标准化需求
TaskBench 针对 LLM 在任务自动化中的能力评估，将任务自动化分为任务分解、工具调用和参数预测三个关键阶段。由于缺乏系统化和标准化的基准，TaskBench 通过工具图表示用户意图，并采用反指导方法生成高质量评估数据集。TaskEval 从不同方面评估 LLM 能力，实验表明 TaskBench 能有效反映 LLM 在任务自动化中的能力，且与人工评估具有高一致性。
多领域基准的扩展与互补
除了上述基准，文章还提及了针对家庭服务、移动设备控制和数学能力的基准测试。例如，家庭服务任务规划性能自动量化基准系统，以及 MathBench 从基础算术到大学数学的多维度评估。这些基准共同推动了 LLM 在不同应用领域的评估标准化，为模型改进提供了具体方向。
Q&A
MobileAgentBench 是什么？
MobileAgentBench 是一个高效且用户友好的基准测试工具，用于全面比较现有移动代理的性能。
CityBench 如何评估大型语言模型在城市领域的能力？
CityBench 通过设计 7 个任务来评估 LLMs 在感知理解和决策能力方面的表现，并整合多源数据模拟城市动态。
TaskBench 的主要功能是什么？
TaskBench 用于评估 LLM 在任务自动化中的能力，分为任务分解、工具调用和参数预测三个关键阶段。
MathBench 如何评估大型语言模型的数学能力？
MathBench 提供了一个多维度视角，评估从基础算术到大学数学的不同阶段，全面分析模型的数学能力。
AgentQuest 框架的用途是什么？
AgentQuest 框架用于追踪和改进大规模语言模型代理在解决复杂多步骤推理任务中的性能。
为什么标准化评估对大型语言模型的发展重要？
标准化评估能够促进 LLM 在任务自动化和其他领域的发展，确保评估的一致性和可靠性。
