面向真实iOS应用UI导航的在线密集强化学习与规划-定位智能体
内容提要
本文提出一种面向真实iOS应用的在线强化学习UI导航框架：智能体分为规划智能体与UI定位模型，由LLM评审提供步骤级密集奖励和任务完成终端奖励，并用PPO及新方法GiGPPO优化；配套基础设施支持数百台虚拟iOS设备并发训练。在UINavBench、iOSWorld和AndroidWorld上，该方法显著优于SFT和仅终端奖励基线，8B模型跨平台泛化提升近七倍，真实iOS表现超过Gemini-3.5-Flash并与Gemini-3.1-Pro持平。
延伸解读
在线强化学习如何解决小模型脆弱性
文章指出，通过监督微调或离线强化学习训练的小模型容易记住静态轨迹，导致执行脆弱且无法从错误中恢复。该框架直接在真实iOS应用上进行在线强化学习，让智能体在交互中学习，从而提升适应性和纠错能力。这解释了为何在线训练比离线方法更能应对动态UI环境。
双奖励结构与GiGPPO的协同作用
LLM评审提供步骤级密集奖励和任务完成终端奖励，前者评估中间进展，后者衡量整体成功。为利用这种双奖励结构，作者采用PPO并引入GiGPPO，通过并发轨迹中视觉相似状态的奖励信号来稳定价值估计。这种设计旨在缓解稀疏奖励下的训练不稳定问题，加速收敛。
跨平台泛化能力的显著提升
在AndroidWorld上的实验显示，8B在线强化学习智能体在分布外泛化上比SFT基线提升近七倍，表明该方法学到的导航策略能迁移到不同平台。同时，在真实iOS应用上，其表现超过Gemini-3.5-Flash并与Gemini-3.1-Pro持平，说明小模型通过在线训练可达到接近前沿大模型的效果。
大规模虚拟设备基础设施的必要性
为支持在线训练范式，作者构建了能协调数百台并发虚拟iOS设备的高效基础设施。这种规模对于收集多样化的交互数据、稳定强化学习训练至关重要。文章未透露具体成本，但强调了基础设施在实现真实应用在线训练中的支撑作用，暗示此类训练对计算资源有较高要求。
Q&A
在线密集强化学习框架如何解决小模型在UI导航中泛化差、易出错的问题？
该框架直接在真实iOS应用上在线训练智能体，避免监督微调或离线强化学习对静态轨迹的记忆，从而提升执行鲁棒性和错误恢复能力。
规划智能体和UI定位模型在框架中分别起什么作用？
框架将智能体解耦为两个专用组件：规划智能体负责高层任务规划，UI定位模型负责在界面中定位可操作元素，二者协同完成导航。
LLM-as-a-Judge提供的奖励信号具体包含哪些部分？
奖励信号包括密集的步骤级反馈（评估中间进展）和任务完成终端奖励（评估整体任务完成情况）。
GiGPPO方法是如何提升训练稳定性的？
GiGPPO是一种邻居条件价值估计方法，它利用并发轨迹中视觉相似状态的奖励信号来改进critic稳定性。
该在线训练框架需要什么样的基础设施支持？
框架配套高效基础设施，可编排数百台并发虚拟iOS设备，以支持大规模在线训练。
8B模型在跨平台泛化上的表现如何？
在从iOS到Android的分布外泛化上，8B强化学习智能体相比监督微调基线提升近七倍。
该方法在真实iOS应用上的表现与Gemini模型相比如何？
在真实iOS应用上，该方法超过Gemini-3.5-Flash，并与Gemini-3.1-Pro持平。
