ASSISTGUI:面向任务的桌面图形用户界面自动化
原文中文,约400字,阅读约需1分钟。发表于: 。使用大型语言模型的图形用户界面(GUI)自动化在处理复杂任务方面有很大潜力。本论文介绍了一个新的基准测试框架 AssistGUI,评估模型是否能够响应用户请求的任务,在 Windows 平台上操纵鼠标和键盘。实验结果显示,我们的 GUI Parser 和 Reasoning 机制在性能上优于现有方法,但在基准测试中,最佳模型的成功率仅为...
Auto-UI是一个多模态的解决方案,通过直接与用户界面交互来促进任务自动化。它不需要环境解析或依赖应用程序相关的API。Auto-UI还引入了链式动作技术,通过先前动作历史和未来动作计划来帮助代理决定执行什么动作。在评估中,Auto-UI实现了90%的动作类型预测准确率和74%的整体动作成功率。