VizDoom 中的行为克隆
内容提要
本文综述了基于《毁灭战士》的ViZDoom平台及多项深度强化学习研究：ViZDoom验证了三维视觉强化学习的可行性；视觉Doom AI竞赛显示强化学习智能体仍难与人类竞争；MineRL竞赛中行为克隆方法获第五名；行为克隆结合人在环学习可提升效率；两层优化训练多智能体达到类人水平；潜空间演示搜索实现高效行为克隆；IQ-Learn逆强化学习避免对抗训练；生成对抗模仿学习产生类人运动；序列归纳偏置用于拆分复杂任务；语义输入改进DQN策略。
延伸解读
行为克隆在竞赛中的实际表现
文章提到，在MineRL 2019竞赛中，参赛者使用行为克隆算法预测人类玩家行动，最终获得第五名。但同时也发现，该方法性能会因训练停止时间的不同而出现明显变化。这说明行为克隆在复杂任务中虽有效，但对训练时机等工程决策较为敏感，实际应用中需谨慎调参。
行为克隆的改进方向：人在环与潜空间搜索
为弥补行为克隆的缺陷，文章介绍了两种思路：一是将行为克隆与人在环学习结合，允许专家随时控制代理并提供最优解，从而提升训练效率、降低资源需求；二是利用潜空间索引演示数据集，通过搜索技术实现高效行为克隆，使代理行为更具人类特征且无需任务适应。这些方法为行为克隆的落地提供了更灵活的路径。
从模仿学习到逆强化学习的方法演进
文章梳理了多种模仿学习相关方法：IQ-Learn通过单个Q函数避免对抗训练，在环境交互数量和高维可扩展性上表现更优；生成对抗模仿学习利用有限演示数据训练出类人运动模式；序列归纳偏置则将复杂任务拆分为子技能并逐个训练。这些方法共同反映了从直接克隆行为到学习奖励或技能结构的演进趋势。
Q&A
ViZDoom 是什么？它主要用来做什么？
ViZDoom 是一个基于第一人称视角和半现实三维场景的深度强化学习测试平台，专门用于基于视觉的强化学习研究，使用神经网络和经验回放来训练具有人类一样行为的游戏 AI。
在 Visual Doom AI 竞赛中，强化学习智能体的表现如何？
尽管强化学习能够生成具有能力的“毁灭之日”机器人，但它们仍无法在多人死亡竞赛中成功与人类竞争。
行为克隆在 MineRL 2019 竞赛中取得了什么成绩？存在什么局限性？
使用行为克隆算法预测人类玩家行动，在最终排名中获得第五名。同时发现该方法性能会根据训练停止的时间而有明显变化。
如何将行为克隆与人在环学习结合来改进训练？
通过一种新方法在模拟中允许专家随时控制代理并提供最优解，从而解决行为克隆的一些缺陷，提高训练效率和降低所需资源，实验表明在定量评估和人类相似性方面效果更好。
IQ-Learn 是什么？它有什么优势？
IQ-Learn 是一种动态感知的逆强化学习方法，通过学习单个 Q 函数来避免对抗性训练，在标准测试中取得最好结果，比现有方法在所需环境交互数量和高维空间可扩展性方面表现优异。
如何利用语义输入改进 DQN 在毁灭战士中的策略学习？
将人类认知中的语义概念和抽象能力（对象和结构元素）添加到图像输入，改进深度 Q 学习网络（DQN）代理模型的策略学习框架，在 3D 第一人称射击游戏“毁灭战士”中表现出更好和更有效的策略。
