Apple Machine Learning Research
·
通过探索扩展代理的合成任务生成
内容提要
AutoPlay是一种可扩展的任务生成管道，通过探索交互环境生成多样的可执行任务，减少对人工标注的依赖。在Android和Ubuntu应用中分别生成了2万和1万任务，显著提高了成功率。
关键要点
-
AutoPlay是一种可扩展的任务生成管道，旨在减少对人工标注的依赖。
-
该方法通过探索交互环境生成多样的可执行任务。
-
AutoPlay分为两个阶段：探索阶段和任务生成阶段。
-
在探索阶段，MLLM探索代理系统地发现新的环境状态和功能。
-
在任务生成阶段，任务生成器利用探索轨迹和任务指导提示合成多样的可执行任务。
-
AutoPlay在20个Android应用中生成了2万任务，在13个Ubuntu应用中生成了1万任务。
-
生成的任务使得大规模任务演示合成成为可能，无需人工标注。
-
使用AutoPlay生成的任务，移动使用场景的成功率提高了20.0%，计算机使用场景提高了10.9%。
-
结合MLLM验证器奖励的AutoPlay生成任务，进一步提升了UI代理的强化学习训练效果，增加了5.7%的成功率。
-
AutoPlay被确立为一种可扩展的方法，能够减少对人工标注的依赖。
延伸解读
AutoPlay的创新性
AutoPlay通过探索交互环境生成任务，显著减少了对人工标注的依赖。这种方法不仅提高了任务的多样性，还确保了生成任务的可执行性和可验证性，解决了传统方法中任务覆盖面有限的问题。
成功率提升的意义
使用AutoPlay生成的任务，移动和计算机使用场景的成功率分别提高了20.0%和10.9%。这一提升意味着在实际应用中，用户体验将显著改善，尤其是在复杂的交互环境中，代理的表现将更加可靠。
强化学习的进步
结合MLLM验证器奖励的AutoPlay生成任务，进一步提升了UI代理的强化学习训练效果，增加了5.7%的成功率。这表明，AutoPlay不仅在任务生成上具有优势，还能有效促进智能代理的学习和适应能力。
延伸问答
AutoPlay是什么？
AutoPlay是一种可扩展的任务生成管道，旨在通过探索交互环境生成多样的可执行任务，减少对人工标注的依赖。
AutoPlay的工作流程是怎样的？
AutoPlay分为两个阶段：探索阶段和任务生成阶段。在探索阶段，MLLM探索代理发现新的环境状态；在任务生成阶段，任务生成器利用探索轨迹合成可执行任务。
使用AutoPlay生成的任务有什么效果？
使用AutoPlay生成的任务，移动使用场景的成功率提高了20.0%，计算机使用场景提高了10.9%。
AutoPlay如何减少对人工标注的依赖？
AutoPlay通过探索交互环境生成任务，避免了人工标注的需求，从而实现大规模任务演示合成。
AutoPlay在不同平台上生成了多少任务？
AutoPlay在20个Android应用中生成了2万任务，在13个Ubuntu应用中生成了1万任务。
结合MLLM验证器的任务生成有什么好处？
结合MLLM验证器的任务生成可以进一步提升UI代理的强化学习训练效果，增加5.7%的成功率。
