量子位
·
任务级奖励提升App Agent思考力，淘天提出Mobile-R1，3B模型可超32B
💡
原文中文，约3000字，阅读约需8分钟。
📝
内容提要
淘天提出的Mobile-R1是一个任务级奖励的交互式强化学习框架，旨在提高移动代理的适应性和探索能力。通过三阶段训练流程和高质量轨迹数据集，Mobile-R1在动态环境中的任务成功率达到49.40%，显著优于其他基准模型。
🎯
关键要点
- 淘天提出Mobile-R1，是一个任务级奖励的交互式强化学习框架。
- Mobile-R1旨在提高移动代理的适应性和探索能力。
- 现有的移动代理大多依赖于动作级奖励，难以应对动态环境。
- Mobile-R1采用多回合、任务导向的学习方式，结合在线学习和轨迹纠错。
- 训练过程分为三个阶段：格式微调、动作级训练和任务级训练。
- 团队构建了高质量的轨迹数据集，包含4,635条人工标注轨迹。
- 训练流程包括初始格式微调、动作级在线训练和任务级在线训练。
- 实验结果显示，Mobile-R1在任务成功率上达到49.40%，显著优于其他基准模型。
- Stage 3的训练进一步增强了Mobile-R1的表现，提升了模型的鲁棒性和适应性。
- 团队计划全面开源相关资源以促进进一步的研究。
❓
延伸问答
Mobile-R1的主要目标是什么？
Mobile-R1旨在提高移动代理的适应性和探索能力。
Mobile-R1的训练流程分为几个阶段？
Mobile-R1的训练流程分为三个阶段：格式微调、动作级训练和任务级训练。
Mobile-R1在任务成功率上达到了什么水平？
Mobile-R1在任务成功率上达到了49.40%。
Mobile-R1如何处理动态环境中的任务？
Mobile-R1通过多回合、任务导向的学习方式，结合在线学习和轨迹纠错来处理动态环境中的任务。
Mobile-R1使用了什么类型的奖励机制？
Mobile-R1使用了任务级奖励和动作级奖励机制。
团队计划如何促进Mobile-R1的进一步研究？
团队计划全面开源相关资源以促进进一步的研究。
➡️
