基于纯视觉的 GUI 代理的全能解析器
内容提要
本文介绍了多个先进的视觉语言模型（VLM）及其在图形用户界面（GUI）导航中的应用。通过构建OmniParser和CogAgent等模型，研究在文本解析、关键信息提取和表格识别等任务上取得了显著进展。此外，提出了GUICourse数据集以提升VLM的OCR和定位能力，展示了小型代理在GUI任务中的优越性能，并探讨了多模态模型在自动化计算机任务中的潜力。
延伸解读
纯视觉GUI代理的技术路线
文章梳理了从OmniParser到CogAgent、ScreenAgent等模型，它们均以视觉语言模型为基础，通过解析屏幕截图来理解GUI并生成操作。这种纯视觉路线不依赖网页DOM等结构化信息，因此能跨平台（如iOS、Android、PC）工作，但核心挑战在于模型对细小文本和元素的识别精度，以及将视觉理解转化为准确动作的能力。
数据与训练策略的关键作用
GUICourse数据集通过GUIEnv增强OCR和定位，GUIAct和GUIChat丰富GUI知识，使31亿参数的小模型也能在单步和多步任务中表现良好。Patch-and-Text Prediction目标函数则通过掩盖和恢复截图中的图像块与文本，提升了截图语言模型的文本能力。这表明，针对性的数据和训练目标能显著提升代理的GUI理解与操作水平。
当前性能与人类水平的差距
在OmniACT基准上，最强的GPT-4代理仅达到人类能力的15%，说明生成可执行计算机任务脚本仍很困难。SEEACT利用GPT-4V完成50%的网络任务，但前提是手动将文本计划转化为动作，自动转化仍是瓶颈。这些结果提示，尽管多模态模型潜力巨大，但距离实用化还有相当距离，转化策略和基准测试都需进一步改进。
Q&A
OmniParser模型的主要功能是什么？
OmniParser模型在可视化文本解析、文本定位、关键信息提取和表格识别任务上表现出色。
CogAgent模型的参数数量是多少？
CogAgent模型的参数数量为180亿。
GUICourse数据集的目的是什么？
GUICourse数据集旨在增强视觉语言模型的OCR和定位能力，以提升图形用户界面代理的性能。
MM-Navigator代理在智能手机GUI导航中的表现如何？
MM-Navigator代理在智能手机GUI导航任务中实现了零射击导航，表现优异。
ScreenAgent模型的优势是什么？
ScreenAgent模型展示了与GPT-4V相媲美的计算机控制能力和更精确的用户界面定位能力。
Patch-and-Text Prediction目标函数的作用是什么？
Patch-and-Text Prediction目标函数通过掩盖和恢复截图中的图像块和文本，改善了截图语言模型的文本能力。
