模型驱动增强学习中可靠学习动力学的多步损失函数
内容提要
本文综述基于模型的强化学习进展，包括：用多时间步目标训练一步预测模型以缓解误差累积；提出MPPVE算法，通过多步计划价值估计更新策略，提高样本效率；用非线性常微分方程建模连续时间动力学，结合高斯过程与自适应测量选择；将全局动态模型分解为上下文潜向量以提升泛化；并涉及轨迹式多选学习、后悔最小化、MAML收敛性及决策焦点学习。
延伸解读
多步预测如何缓解误差累积
文章指出，一步预测模型在轨迹增长时误差会累积，而使用多时间步目标训练一步预测模型可以缓解这一问题。实验证明，指数衰减权重能显著提高长期视野得分，尤其在嘈杂环境下效果明显。这提示读者，在基于模型的强化学习中，训练目标的设计对长期性能至关重要，多步目标与衰减权重的结合是一种实用策略。
MPPVE：用多步计划替代多步行动
MPPVE算法通过引入多步计划来替换多步行动，并采用多步计划价值估计来更新策略，从而更好地利用学习到的模型。文章称其实现了比现有基于模型的强化学习方法更好的样本效率。这意味着，在模型利用方式上，从行动层面转向计划层面可能带来效率提升，为后续研究提供了新思路。
连续时间建模与自适应测量选择
文章介绍了一种基于非线性常微分方程的连续时间动力学建模方法，使用高斯过程捕捉认识不确定性，并利用乐观原则探索。分析表明，在连续时间下，测量选择策略（MSS）不仅决定如何探索，还决定何时观察系统。提出的自适应MSS能在更少样本下达到次线性后悔。这凸显了连续时间建模在特定应用中的优势，以及自适应观测策略的重要性。
全局动态模型的分解与泛化
文章提出将学习全局动态模型的任务分解为学习本地动态的上下文潜向量和条件预测下一个状态，并通过鼓励潜向量在预测正向和反向动态方面有用来编码动态特定信息。该方法在模拟机器人控制任务中实现了优异的泛化能力，超过了现有方案。这表明，分解式建模和双向预测目标有助于提升模型在变化环境中的泛化性能。
Q&A
基于模型的强化学习中，一步预测误差累积问题怎么解决？
通过使用多时间步目标训练一步预测模型来解决，实验证明指数衰减权重能显著提高长期视野得分，尤其在嘈杂环境下。
MPPVE算法是什么？它有什么优势？
MPPVE是一种基于模型的强化学习算法，通过引入多步计划来替换多步行动，采用多步计划价值估计来更新政策，从而更好地利用学习到的模型，实现比现有基于模型的强化学习方法更好的样本效率。
连续时间动力学建模在基于模型的强化学习中有什么优势？
使用非线性常微分方程表示连续时间动力学，结合高斯过程捕捉认识不确定性，并利用乐观原则探索。分析表明测量选择策略在连续时间下很重要，自适应MSS能达到次线性后悔，且连续时间建模比离散时间建模有优势。
如何提升基于模型的强化学习中全局动态模型的泛化能力？
通过将学习全局动态模型的任务分解为学习本地动态的上下文潜向量和条件预测下一个状态，并鼓励上下文潜向量在预测正向和反向动态方面有用，从而编码动态特定信息，在各种模拟机器人控制任务中实现优异泛化。
MAML算法在非凸情况下的收敛性如何保证？
论文提出了理论框架，表征了在非凸情况下实现多步MAML的计算复杂度和收敛速率，建议内部阶段步长应选择与内部阶段步数N成反比来保证N步MAML有保证的收敛性。
决策焦点学习中的鲁棒损失函数有什么作用？
决策焦点学习旨在通过训练预测模型来最小化后悔，提出了三种更接近预期后悔的鲁棒损失函数，实验证明使用鲁棒后悔损失训练决策焦点学习方法能够改善测试样本的经验后悔并保持计算时间等效。
