Auto-UI是一个多模态的解决方案，通过直接与用户界面交互来促进任务自动化。它不需要环境解析或依赖应用程序相关的API。Auto-UI还引入了链式动作技术，通过先前动作历史和未来动作计划来帮助代理决定执行什么动作。在评估中，Auto-UI实现了90%的动作类型预测准确率和74%的整体动作成功率。