辅助奖励生成与过渡距离表示学习
内容提要
本文综述强化学习中的辅助任务与表示学习。基于数百个离策略算法的比较发现，高维复杂环境下表示学习更有益，学习环境动态优于预测奖励。相关研究还提出回报信号辅助任务、动态距离奖励、分层强化学习辅助奖励及谱分解理论等方法，以提升样本效率与稀疏奖励任务表现。
延伸解读
表示学习在高维环境中的优势
文章基于数百个离策略算法的比较发现，辅助任务的表示学习在维度和复杂度较高的环境中更为有利。这意味着在复杂任务中，通过辅助任务学习状态表示可能比直接预测奖励更有效，因为高维环境需要更抽象的特征来泛化。
学习环境动态性优于预测奖励
研究指出，学习环境动态性作为辅助任务，其效果胜过预测奖励。这可能是因为动态性学习迫使智能体理解状态之间的转移关系，从而获得更鲁棒的表示，而预测奖励可能只关注即时回报，忽略了环境的结构信息。
辅助奖励与距离表示在稀疏奖励任务中的应用
文章提到多种方法利用辅助奖励和距离表示来解决稀疏奖励问题。例如，动态距离奖励和基于回报信号的辅助任务能够帮助智能体在奖励稀疏时仍能有效学习，这些方法无需额外奖励工程，提升了样本效率。
理论工具：谱分解与辅助任务选择
文章还介绍了通过时间差分算法的动态分析，建立转移算符的谱分解与辅助任务诱导表示之间的联系。这一理论框架有助于研究者根据任务特性选择更合适的辅助任务，从而指导深度强化学习代理的设计。
Q&A
辅助任务在强化学习中有什么作用？
辅助任务通过生成表示来提高样本效率和回报，尤其在维度和复杂度较高的环境中，表示学习更有益。
在强化学习中，学习环境动态性和预测奖励哪个更好？
学习环境动态性胜于预测奖励。
如何利用回报信号设计辅助任务？
通过回报信号使学到的表示区分具有不同回报的状态和动作对，从而在Atari游戏和DeepMind控制套件等复杂任务中更好地学习，并与现有辅助任务结合时表现更好。
动态距离奖励如何帮助稀疏奖励任务？
通过自主互动学习动态距离，并用它们提供良好的奖励函数，无需人工设计奖励或目标示例，使用半监督学习在机器人和仿真环境中有效执行复杂任务。
分层强化学习中如何设置辅助奖励？
通过设置辅助奖励来适应下游任务，同时保持奖励设计的通用性，实现高级策略和低级技能的高效同时学习，无需特定任务知识，且策略可转移。
谱分解理论如何联系辅助任务和表示？
通过分析时间差分算法的动态，建立转移算符的谱分解和各种辅助任务诱导的表示之间的联系，并利用这些理论结果选择深度强化学习代理的辅助任务。
