通过控制有效的规划视野进行离线模仿学习
内容提要
该文综述了模仿学习与离线强化学习的多项研究：逆强化学习通过缩短时间跨度提升奖励估计效率；在线强化学习结合离线数据与专家策略建模降低遗憾；层次化方法融合模仿学习与离线强化学习以实现长时程技能组合；MILO框架解决离线模仿学习的状态行为偏移；轨迹感知加权行为克隆提升鲁棒性；鉴别器加权行为克隆提高回报与训练速度；RelaxDICE用松弛f-分布规范策略支持，性能提升超30%；序列归纳偏置方法将复杂任务拆分为目标条件技能；THOR结合奖励塑造与代价预测器；模仿模型结合目标导向规划生成专家级轨迹。
延伸解读
规划视野：离线模仿学习的关键调节变量
文章指出，逆强化学习中缩短时间跨度能更快产生更准确的奖励估计，且同时学习奖励与有效时间跨度比独立学习更自然。这提示在离线模仿学习中，规划视野并非越长越好，过长的视野可能增加估计难度与计算负担。读者可关注后续方法是否将视野长度作为可学习参数，而非固定超参数。
从离线数据到在线学习：专家策略建模的价值
在线强化学习部分假设离线数据由未知能力水平的专家生成，若学习代理对专家行为策略建模，可降低累计遗憾。这意味着离线模仿学习不仅是冷启动手段，其建模质量会影响后续在线学习效率。实际应用中，应评估离线数据来源的专家水平，并考虑将行为策略建模纳入在线学习框架。
方法谱系：从行为克隆到鉴别器加权与松弛分布
文章列举了多种离线模仿学习改进思路：轨迹感知加权行为克隆提升鲁棒性；鉴别器加权行为克隆用鉴别器输出作为损失权重，提高回报与训练速度；RelaxDICE用松弛f-分布规范策略支持，在六个连续控制环境中平均性能提升超30%。这些方法共同指向对行为克隆的加权或正则化，以缓解分布偏移和劣质数据影响。
层次化与规划结合：长时程任务的组合路径
层次化方法融合模仿学习与离线强化学习，从高维相机观察学习任务无关的长时程策略，并通过技能链接组合未见过的技能。序列归纳偏置方法将复杂任务拆分为目标条件技能，THOR结合奖励塑造与代价预测器，模仿模型结合目标导向规划生成专家级轨迹。这些工作显示，将长时程任务分解为可组合技能是提升离线模仿学习泛化性的重要方向。
Q&A
逆强化学习中时间跨度对奖励估计有什么影响？
使用更短的时间跨度可以更快地产生更好的奖励估计结果，并且同时学习奖励和有效时间跨度比独立学习奖励更为自然。
在线强化学习如何利用离线数据集和专家策略建模来降低遗憾？
如果学习代理建模了专家使用的行为策略，它可以在最小化累计遗憾方面表现得更好；研究建立了前瞻性依赖先验的遗憾界限，并提出了近似的被告知RLSVI算法，可解释为使用离线数据集进行模仿学习后再进行在线学习。
MILO框架如何解决离线模仿学习中的状态行为偏移问题？
MILO框架基于静态离线数据，无需在线交互，能够成功应对较弱行为准则下的状态行为偏移问题，最终成功模仿高水平行为准则的动作。
RelaxDICE方法在离线模仿学习中的性能提升如何？
RelaxDICE采用松弛的f-分布来规范策略支持，在六个标准连续控制环境中，相较于最优先的离线模仿学习方法，平均性能提升了30%以上。
THOR方法如何结合模仿学习和强化学习？
THOR通过近似最优的代价预测器将模仿学习和强化学习融合，形成Truncated HORizon Policy Search方法，以搜索对于近似最优代价预测器的有限规划下实现最大总重构奖励的策略。实验证明THOR在代价预测器不是全局最优时也能取得比强化学习和模仿学习更好的表现。
模仿模型方法如何结合目标导向规划生成专家级轨迹？
模仿模型方法将模仿学习和目标导向规划相结合，使用概率预测模型生成解释性的专家级轨迹以实现特定目标。在动态模拟自主驾驶任务中，该方法显著优于六种模仿学习方法和一种基于规划的方法，并能从专家演示中高效学习，对目标规范不良的情况具有鲁棒性。
