内容提要
AIxiv专栏促进学术交流，报道超过2000篇内容。OS-Genesis提出了一种无人工监督的GUI数据合成框架，通过反向任务合成生成高质量轨迹数据，显著提高了GUI agent的任务成功率和适应性，为构建通用GUI agent提供了新思路。
关键要点
-
AIxiv专栏促进学术交流，报道超过2000篇内容。
-
OS-Genesis提出了一种无人工监督的GUI数据合成框架。
-
OS-Genesis通过反向任务合成生成高质量轨迹数据。
-
有效的Digital Agents需要具备任务规划和执行能力。
-
GUI轨迹数据的稀缺性是构建高质量GUI agent的关键挑战。
-
现有轨迹数据采集方法依赖人工监督或预定义任务，存在成本高和数据多样性不足的问题。
-
OS-Genesis通过探索性交互捕捉动作及状态变化，生成低阶和高阶指令。
-
反向任务合成是OS-Genesis的核心，能够生成多样化的任务集合。
-
轨迹构建与奖励模型确保生成轨迹的质量，使用奖励分数评估轨迹。
-
OS-Genesis在动态环境中生成高质量轨迹数据的实验结果显著优于传统方法。
-
OS-Genesis在AndroidWorld和WebArena等场景中表现出色，提升了任务成功率和适应性。
-
OS-Genesis生成的高阶指令在任务执行中优于人工编写的指令。
-
OS-Genesis缩小了合成轨迹与人工标注轨迹之间的性能差距。
-
OS-Genesis为构建高质量GUI agents提供了新的视角和方法。
延伸问答
OS-Genesis的主要功能是什么？
OS-Genesis是一种无人工监督的GUI数据合成框架，通过反向任务合成生成高质量轨迹数据。
为什么GUI轨迹数据的稀缺性是构建高质量GUI agent的挑战？
GUI轨迹数据稀缺使得agent难以学习如何有效完成任务，这是构建高质量GUI agent的关键挑战之一。
OS-Genesis如何生成低阶和高阶指令？
OS-Genesis通过记录动作及状态变化，利用反向任务合成生成低阶指令，再基于这些指令生成高阶指令。
OS-Genesis在动态环境中的表现如何？
OS-Genesis在动态环境中生成的轨迹数据显著优于传统方法，提升了任务成功率和适应性。
OS-Genesis如何确保生成轨迹的质量？
OS-Genesis引入奖励模型，对生成的轨迹进行质量评估，确保轨迹的完成度和一致性。
OS-Genesis与人工标注轨迹的性能差距如何？
OS-Genesis显著缩小了合成轨迹与人工标注轨迹之间的性能差距，尤其在高阶任务中表现更接近人类操作方式。
