NotionNext BLOG
·
InfiGUI-R1：从反应式执行向推理式决策的进阶之路
💡
原文中文，约7100字，阅读约需17分钟。
📝
内容提要
InfiGUI-R1引入了一种以推理为中心的渐进式训练方法，将GUI智能体从反应式执行转变为深思熟虑的推理者。该方法包括推理注入和审慎性提升两个阶段，通过空间推理蒸馏和基于规则奖励的强化学习，增强智能体的推理和决策能力，并通过构建错误恢复场景提升反思能力，从而实现更复杂的任务规划和执行。
🎯
关键要点
- InfiGUI-R1 引入以推理为中心的渐进式训练方法，旨在将 GUI Agents 从反应式执行转变为深思熟虑的推理者。
- 该方法分为两个阶段：推理注入和审慎性提升。
- 阶段 1：推理注入，目标是实现从反应式行动者到基础推理者的转变，采用空间推理蒸馏方法。
- 推理瓶颈样本的识别是推理注入的关键，旨在提高蒸馏效率。
- 生成空间推理轨迹，通过提取和压缩空间信息来训练多模态大语言模型。
- 阶段 2：审慎性提升，利用基于规则奖励的强化学习优化智能体的决策能力。
- 子目标引导和错误恢复场景构建是审慎性提升的两个关键创新。
- 强化学习过程中使用多样化的数据组合，以增强智能体的稳健性与适应性。
- 通过构建错误逃离和重回正轨场景，提升智能体的反思与纠错能力。
❓
延伸问答
InfiGUI-R1的主要目标是什么？
InfiGUI-R1的主要目标是将GUI智能体从反应式执行转变为深思熟虑的推理者。
InfiGUI-R1的训练方法分为哪两个阶段？
InfiGUI-R1的训练方法分为推理注入和审慎性提升两个阶段。
推理注入阶段的关键步骤是什么？
推理注入阶段的关键步骤包括确定推理瓶颈样本和生成空间推理轨迹。
审慎性提升阶段的创新举措有哪些？
审慎性提升阶段的创新举措包括子目标引导和错误恢复场景构建。
如何通过强化学习优化智能体的决策能力？
通过基于规则奖励的强化学习，结合多样化的数据组合来优化智能体的决策能力。
InfiGUI-R1如何提升智能体的反思能力？
通过构建错误恢复场景，提升智能体的反思与纠错能力。
➡️
