通过功能奖励编码的无监督零样本强化学习
内容提要
该文综述了利用函数编码器、无监督预训练和视觉表示学习提升强化学习效率与泛化能力的研究。这些方法从无标签离线数据中学习通用策略，实现零样本适应新任务，并在机器人运动、操作及Atari等基准上优于专门方法，同时增强数据效率、训练稳定性和噪声鲁棒性。
延伸解读
无监督预训练与零样本适应的核心思路
文章指出，通过函数编码器表示奖励或转换函数，智能体能在运行时关联先前任务，从而提升数据效率、渐近性能和训练稳定性。无监督框架从无标签离线数据中预训练通用策略，捕捉多样化、最优且长程的行为，并能在零样本方式下快速适应新任务。在模拟机器人运动和操作基准上，这些策略甚至常优于针对每个场景专门设计的先前方法。
视觉表示学习与奖励推断的实践价值
利用深度模型学习中间视觉表示，可从少量演示序列中快速推断知觉奖励函数，便于在真实世界环境中使用强化学习智能体执行任务。生成式预训练得到的视觉表示能加速并提升多种任务下视觉强化学习系统的性能与效率。基于视频的内在激励奖励机制利用预训练表示，有效提升了数据利用率和最终任务完成度。
方法对比与鲁棒性表现
CTRL方法无需奖励信号，将行为相似的观察映射到相似表示空间，与PPO结合可更好应对Procgen基准测试的挑战。引入辅助损失并消除后效性的方法，在MuJoCo控制任务上匹配最新无模型和有模型算法，同时在观测噪声下表现出鲁棒性，并克服了以往使用变分自动编码器所面临的发散问题。这些对比表明不同方法在泛化、稳定性和噪声鲁棒性上各有侧重。
Q&A
什么是功能奖励编码？
功能奖励编码是指使用函数编码器来表示奖励函数或转换函数，从而让学习代理在运行时能够与先前的任务相关联。通过在强化学习算法中引入功能编码器任务表示，可以显著提升数据效率、渐近性能和训练稳定性。
无监督零样本强化学习如何实现零样本适应新任务？
通过从无标签的离线数据中预训练通用策略，这些策略能够捕捉多样化、最优且长程的行为，并利用结构化表示和方向性移动跨越学习的潜在空间，从而在零样本方式下快速适应任意新任务。
无监督零样本强化学习在哪些基准测试中表现出色？
在模拟机器人的运动和操作基准测试中，无监督策略能够以零样本方式解决目标有条件的和通用RL任务，甚至经常优于针对每个场景专门设计的先前方法。此外，在Atari和三维Labyrinth任务中也取得了显著优异表现。
CTRL方法在零样本泛化中有什么作用？
CTRL（Cross-Trajectory Representation Learning）是一种无需奖励信号的编码器训练方法，它将行为相似的观察结果映射到相似的表示空间中，以实现RL中的零样本泛化。实验表明，CTRL与PPO结合可以更好地应对Procgen基准测试套件中的挑战。
如何利用未标记数据预训练编码器以提高数据效率？
通过使用未标记数据预先训练编码器，然后在少量任务特定数据上微调，并利用潜在动态建模和无监督的目标条件强化学习，促进学习代表捕捉底层MDP的多个方面。这种方法显示出极高的数据效率，并提供与先前工作以及需要更多数据的其他预训练方法相比的最先进的性能。
在机器人领域，如何通过离线数据学习多项技能？
在自监督学习阶段对预先收集的数据集进行处理，以理解模型的结构和动态，并对离线学习的策略进行强化学习。在三个连续控制任务上的评估表明，该模型在涉及长期规划任务上明显优于现有方法。
