一分钟读论文：《多轮长程规划的训练物理》
内容提要
该论文系统研究了基础模型智能体在多轮长程规划中的能力获取机制，覆盖预训练、后训练及多教师整合全生命周期。通过构建可控规划实验平台，发现世界模型内部化能显著提升长程泛化能力，RL后训练存在适用边界，多教师蒸馏中模式兼容性比单一性能更重要。
延伸解读
世界模型内部化：长程泛化的关键
论文通过可控实验表明，预训练阶段采用后序遍历思维链构建状态转换规则（即世界模型内部化），相比直接动作预测，能显著提升长程规划能力：短程avg@8提升9.4%，中程提升39.3%，长程提升45.8%。这说明模型对环境的深层理解比简单行为模仿更重要，为预训练策略提供了实证依据。
RL后训练的适用边界
研究从互信息角度区分通用规划模式与任务特定知识，定义了RL后训练的三区域：高质量数据下收益有限，含次优轨迹时显著有效，但跨知识教师蒸馏可能损害已有能力。在低质量数据下，OPD比GRPO更稳健，例如Short OPD提升29.77%，而GRPO仅19.97%，提示实践者需根据数据质量选择后训练方法。
多教师蒸馏：兼容性优先
多教师在线策略蒸馏（MOPD）的机制分析显示，教师模式兼容性决定效果：兼容模式支持跨环境泛化，部分共享支持持续学习，完全冲突则导致灾难性遗忘。这为实际多教师整合提供了理论指导——选择教师时，模式兼容性比单一教师性能更重要。
Q&A
这篇论文主要研究了什么？
论文《多轮长程规划的训练物理》系统研究了基础模型智能体在多轮长程规划中的能力获取机制，覆盖预训练、后训练及多教师整合的全生命周期，并构建了可控规划实验平台。
可控规划实验平台是什么？
论文构建了首个可控的多轮长程规划实验平台（Controllable Planning Gym），基于技能图统一构建了奇幻炼金术、畜牧养殖和电子组装三个领域，每个领域设五个难度级别，支持对任务长度、数据质量和规划模式的精确控制。
预训练阶段如何提升长程泛化能力？
预训练阶段通过世界模型内部化（后序遍历思维链构建状态转换规则）显著提升长程泛化能力，相比直接动作预测，短程规划 avg@8 从 89.5% 提升至 98.9%，中程提升 39.3%，长程提升 45.8%。
RL后训练的三个适用区域是什么？
RL后训练的三个适用区域包括：不需要（高质量数据上GRPO/OPD对模式改善有限）、有效（含次优轨迹时显著改善）和不可支持（从不同知识教师蒸馏未见过程序可能损害学生已有世界建模）。
OPD和GRPO在次优轨迹下的效果有何差异？
当数据包含次优轨迹时，Short OPD带来+29.77的提升，而Short GRPO仅带来+19.97，差距约10个百分点。OPD在教师模型理想时比稀疏信用分配提供更一致的更新方向，因此有效区域更宽。
多教师蒸馏中模式兼容性有何重要性？
多教师蒸馏中，兼容的模式支持跨环境泛化，部分共享的模式支持持续学习，而完全冲突的模式会导致严重的灾难性遗忘和跨环境干扰。因此模式兼容性比单一教师性能更重要。
