AGUVIS框架通过纯视觉输入解决了GUI自动化的关键挑战，消除了对文本表示的依赖，提升了跨平台的泛化能力。该模型在基础和推理阶段有效结合，显著提高了任务执行的准确性和效率，成为首个完全自主的视觉智能体。

本文介绍了香港大学与Salesforce合作的Aguvis项目，旨在提升图形用户界面中的规划推理能力。Aguvis构建了统一的基础和推理大数据集，采用两阶段训练方式，显著提升了模型性能。通过内心独白数据，模型在复杂任务的推理和规划方面表现更佳。未来的优化方向包括提高指令清晰度和开发自适应规划机制。