💡
原文中文，约5500字，阅读约需14分钟。
📝
内容提要
AIxiv专栏促进学术交流，报道超过2000篇内容。OS-Genesis提出了一种无人工监督的GUI数据合成框架，通过反向任务合成生成高质量轨迹数据，显著提高了GUI agent的任务成功率和适应性，为构建通用GUI agent提供了新思路。
🎯
关键要点
- AIxiv专栏促进学术交流，报道超过2000篇内容。
- OS-Genesis提出了一种无人工监督的GUI数据合成框架。
- OS-Genesis通过反向任务合成生成高质量轨迹数据。
- 有效的Digital Agents需要具备任务规划和执行能力。
- GUI轨迹数据的稀缺性是构建高质量GUI agent的关键挑战。
- 现有轨迹数据采集方法依赖人工监督或预定义任务，存在成本高和数据多样性不足的问题。
- OS-Genesis通过探索性交互捕捉动作及状态变化，生成低阶和高阶指令。
- 反向任务合成是OS-Genesis的核心，能够生成多样化的任务集合。
- 轨迹构建与奖励模型确保生成轨迹的质量，使用奖励分数评估轨迹。
- OS-Genesis在动态环境中生成高质量轨迹数据的实验结果显著优于传统方法。
- OS-Genesis在AndroidWorld和WebArena等场景中表现出色，提升了任务成功率和适应性。
- OS-Genesis生成的高阶指令在任务执行中优于人工编写的指令。
- OS-Genesis缩小了合成轨迹与人工标注轨迹之间的性能差距。
- OS-Genesis为构建高质量GUI agents提供了新的视角和方法。
➡️
