本文介绍了香港大学与Salesforce合作的Aguvis项目，旨在提升图形用户界面中的规划推理能力。Aguvis构建了统一的基础和推理大数据集，采用两阶段训练方式，显著提升了模型性能。通过内心独白数据，模型在复杂任务的推理和规划方面表现更佳。未来的优化方向包括提高指令清晰度和开发自适应规划机制。