量子位
·
AI让手机任务自动跑起来！我国高校最新研究，简化移动设备操作
💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
西安交通大学研究团队提出的VisionTasker方案，通过视觉理解和大语言模型，简化手机操作，特别帮助视障和老年用户完成多样化任务。实验结果显示，该方案在用户界面理解能力上优于传统方法。
🎯
关键要点
- 西安交通大学研究团队提出VisionTasker方案，旨在简化手机操作，特别帮助视障和老年用户。
- 移动任务自动化利用AI捕捉并解析人类意图，在移动设备上高效执行多样化任务。
- VisionTasker结合视觉UI理解和大语言模型任务规划，逐步实现移动任务自动化。
- 该方案消除了对视图层次结构的依赖，提高了对不同应用界面的适应性。
- VisionTasker通过自然语言理解用户需求，并将其转化为可执行的任务步骤。
- 实验结果显示，VisionTasker在UI理解和任务执行方面优于传统方法，尤其在复杂任务中表现突出。
- VisionTasker在147个真实世界任务中，完成率与人类相当，某些情况下优于人类。
- 该研究已在2024年人机交互顶级会议UIST上发表，展示了其在移动任务自动化领域的创新性。
➡️
