移动 Agent：具有视觉感知的自主多模移动设备 Agent
内容提要
本文综述多模态大模型驱动的智能代理研究，涵盖手机应用操作、移动端视觉语言模型、网页导航代理及自动驾驶。代理通过自主探索或模仿学习构建知识库，无需后端接口即可完成跨应用复杂任务，在多项基准测试中表现优异，并推动可视化与移动交互自动化发展。
延伸解读
无需后端接口的跨应用操作
文章指出，该多模态代理通过模拟人类的点击和滑动等交互来操作智能手机应用，无需访问系统后端。这降低了代理对应用特定API的依赖，使其能更广泛地适用于不同应用。在10个应用中的50个任务测试中，代理展示了处理高级任务的熟练程度，表明这种简化操作空间的方法在跨应用复杂任务中具有潜力。
移动端视觉语言模型的性能权衡
MobileVLM专为移动设备设计，提供1.4B和2.7B参数规模的语言模型，并与CLIP风格预训练的多模态视觉模型结合。在基准测试中，其性能与更大模型相当，同时在骁龙888 CPU和Jetson Orin GPU上分别达到21.5和65.3 token/秒的推断速度。这显示了在资源受限的移动设备上平衡性能与效率的可能性。
网页代理的评估与成功率
WebVoyager通过大型多模态模型与真实网站交互，在15个常用网站的测试中达到55.7%的任务成功率，显著优于GPT-4（所有工具）和仅文本设置。其提出的自动评估协议与人类判断的一致性达85.3%，为开放式网络代理任务的自动评估提供了可行方案，但成功率也表明实际应用仍有提升空间。
多模态代理的评估基准与挑战
文章介绍了多个评估基准，如AITW包含30K条指令，涵盖应用操作、网络搜索和网购等多步任务；VisualWebArena则用于评估自主多模态代理在视觉基础任务上的性能，并揭示了文本模型的限制和现有多模态语言代理的能力差距。这些基准有助于衡量进展，但也反映出代理在复杂视觉任务中仍需改进。
Q&A
移动Agent如何操作手机应用？
移动Agent通过模拟人类的点击和滑动等交互来操作智能手机应用程序，无需访问系统后端，从而扩大了适用性。
MobileVLM是什么？它的性能如何？
MobileVLM是专为移动设备设计的多模态视觉语言模型，包含1.4B和2.7B参数规模的语言模型，使用CLIP风格预训练。在高通骁龙888 CPU和NVIDIA Jetson Orin GPU上分别达到21.5和65.3 token/秒的推断速度，性能与更大模型相当。
WebVoyager的任务成功率是多少？
WebVoyager在15个广泛使用的网站上的任务成功率为55.7%，大大超过了GPT-4（所有工具）和仅文本设置的表现。
Auto-UI如何帮助UI代理？
Auto-UI是一种多模态解决方案，直接与界面交互，无需环境解析或依赖应用程序相关的API。它采用链式动作技术，利用中间动作历史和未来动作计划来帮助代理决定执行什么动作。在AITW基准上实现了90%的动作类型预测准确率和74%的整体动作成功率。
VisualWebArena是什么？
VisualWebArena是一个用于评估自主多模态代理在具有视觉基础任务方面性能的基准。它揭示了文本模型的限制以及现有多模态语言代理能力上的差距。
多模态大语言模型在自动驾驶中有哪些应用？
多模态大语言模型在自动驾驶中用于实时感知、决策和工具控制，与人类相似。文章总结了在自动驾驶中使用多模态大语言模型的工具、数据集和基准，并提出了需要解决的重要问题。
