强化学习中的课程学习
内容提要
课程学习通过由易到难安排训练任务，加速强化学习收敛并提升泛化。文章综述五类方法：任务特定课程、教师引导学生自动选任务、非对称自博弈生成课程、目标GAN自动生成适中难度目标、无监督技能发现与渐进网络蒸馏。核心是量化任务难度并动态调整训练分布，避免过难或过易。
延伸解读
课程设计的核心挑战：难度量化与动态调整
文章指出，设计有效课程的关键在于量化任务难度并动态调整训练分布。难度可基于预训练模型的损失、学习进度或目标达成概率来度量。动态调整需避免任务过难或过易，例如通过教师模型选择任务或生成中等难度的目标。这些方法旨在平衡探索与利用，加速收敛并提升泛化。
教师引导与自博弈：自动课程的两类思路
教师引导方法将课程学习视为多臂老虎机问题，由教师策略根据学生学习进度选择任务。非对称自博弈则让两个智能体竞争，Alice 为 Bob 设定可解但具挑战性的任务，自动生成课程。两者都强调任务难度应适中，但自博弈中教师也参与任务，确保任务可解。
目标生成与技能发现：从目标到技能的课程
目标 GAN 通过生成器与判别器自动产生中等难度的目标，使策略逐步掌握复杂任务。无监督技能发现则从交互中提取潜在技能，构建课程以训练元强化学习策略。这些方法将课程构建为技能或目标的渐进序列，提升策略的泛化能力和迁移效率。
渐进网络与蒸馏：知识保留与迁移的课程
渐进网络通过堆叠新列并冻结旧列参数，避免灾难性遗忘，实现任务间知识迁移。Mix & Match 则混合多个策略，通过蒸馏损失鼓励复杂策略匹配简单策略，动态调整混合权重形成课程。两者都利用知识蒸馏或参数隔离，在序列任务中平衡保留与适应。
Q&A
课程学习在强化学习中有什么作用？
课程学习通过由易到难安排训练任务，可以加速强化学习的收敛速度，并可能提升模型的泛化能力。
课程学习主要有哪些方法类别？
文章综述了五类方法：任务特定课程、教师引导学生自动选任务、非对称自博弈生成课程、目标GAN自动生成适中难度目标、无监督技能发现与渐进网络蒸馏。
如何量化任务难度以设计课程？
一种思路是使用预训练模型在其他任务上的最小损失来量化任务难度，从而对训练样本进行排序。
教师-学生课程学习（TSCL）是如何工作的？
TSCL中，教师智能体通过选择子任务来指导学生智能体的训练，学生专注于实际任务。教师根据学习进度（如损失变化）或复杂度变化（如KL散度）来选择任务，以加速学生学习。
非对称自博弈如何自动生成课程？
在非对称自博弈中，Alice和Bob两个智能体互动：Alice通过改变状态向Bob提出挑战，Bob尝试恢复原状。Alice的奖励鼓励她提出需要Bob花费更多时间但可完成的任务，从而自动生成由易到难的课程。
目标GAN如何用于自动生成合适难度的目标？
Goal GAN通过生成器产生目标，判别器评估目标是否达到适中难度（GOID），即当前策略成功概率在设定范围内。生成器被训练以产生GOID集合中的目标，从而自动构建课程。
渐进网络蒸馏如何实现课程学习？
渐进网络通过堆叠神经网络列来逐步学习多个任务，新任务添加新列并冻结旧列参数，避免灾难性遗忘。课程通过任务序列自然实现，知识从旧任务迁移到新任务。
