通过自动学习组合子任务实现高效样本强化学习
内容提要
本文综述多任务与分层强化学习进展，涵盖：利用策略草图共享子策略以提升性能并构建可解释行为库；结合子目标发现与内在动机应对稀疏奖励；采用课程式框架提高采样效率；提出计数奖励自动机以支持无限制语法任务；构建可验证组合框架；通过子任务图元学习实现快速适应；以弱监督区分有效子空间；从少量演示推断知觉奖励；使机器人通过少量交互学习技能；并以子任务生成选项模型，统一价值、策略、选项与模型学习。
延伸解读
从子任务共享到可解释行为库
文章指出，通过策略草图将每个子任务与模块化子策略关联，并跨任务共享子策略，不仅能提升任务性能，还能自然形成可解释的基础行为库。这意味着智能体学到的不是黑箱策略，而是可复用的行为模块，便于快速适应新任务。这种设计为多任务强化学习提供了一条兼顾性能与可解释性的路径。
稀疏奖励下的层次化探索
针对大规模状态空间和稀疏奖励反馈，文章介绍了一种结合无模型子目标发现与内在动机的层次强化学习方法。该方法无需获取环境模型，通过自动发现子目标并给予内在奖励来引导探索。这有助于缓解稀疏奖励带来的学习困难，为复杂任务提供可行的层次化解决方案。
课程式框架提升采样效率
文章提到一种受人类启发的课程式框架，通过逐步提供简单但相似的任务来适应复杂强化学习任务，并利用迁移学习减少样本复杂性而不增加计算复杂性。实验表明该框架在优化问题上表现良好。这提示读者，课程设计可能是提升采样效率的有效手段，尤其适合计算资源有限或任务复杂度高的场景。
计数奖励自动机扩展任务表达能力
文章提出计数奖励自动机，一种能模拟任何形式语言奖励函数的有限状态机变体。与仅能表达正则语言任务的方法不同，该框架允许用无限制语法描述任务，且不增加自动机复杂性。作者还提出利用自动机结构提升样本效率的学习算法，并在样本效率、自动机复杂性和任务完成上优于竞争方法。这为强化学习任务的形式化描述提供了更通用的工具。
Q&A
策略草图框架如何通过子任务共享提升多任务强化学习的性能？
该框架将每个子任务与模块化子策略关联，并跨任务共享子策略，从而提高任务性能，同时自然产生可解释的基础行为库，便于快速适应新任务。
如何解决强化学习中的稀疏奖励和巨大状态空间问题？
可以采用基于最近经验的子目标发现方法与内在动机学习机制相结合的层次强化学习，无需获取环境模型，即可应对大规模状态空间和稀疏奖励反馈。
计数奖励自动机相比传统方法有什么优势？
计数奖励自动机是一种有限状态机变体，能模拟任何形式语言表示的奖励函数，而传统方法仅能表达正则语言。它允许用无限制语法描述任务，且不增加自动机复杂性，并配有提升样本效率的学习算法，在样本效率、自动机复杂性和任务完成上优于竞争方法。
消息传递子任务图推理器（MSGI）是如何实现少样本强化学习的？
MSGI通过任务的子任务图描述子任务及其依赖关系，与环境交互推断潜在任务参数，并采用受上限置信界启发的内在奖励促进探索，从而准确推断参数并比现有元强化学习和分层强化学习方法更有效地适应。
弱监督在强化学习中如何帮助区分有效任务子空间？
弱监督可自动区分语义明确的任务子空间和无意义的“杂草”任务空间，学习到的子空间能实现高效探索，并提供捕捉状态间距离的表示，在多种基于视觉的连续控制问题中显著提升性能，尤其随环境复杂性增加。
如何让机器人通过少量交互学习技能而无需人工设计奖励函数？
通过少量成功案例和主动请求用户标注，机器人无需人工指定奖励函数即可学习技能，避免人工设计感知流水线或添加传感器。实验证明该方法可行，机器人能从图像直接学习，仅需1-4小时与实际世界交互。
