突破障碍：平滑 DRL 代理程序中的增强效用和鲁棒性
内容提要
本文探讨了深度强化学习中的鲁棒性提升方法，包括通过平滑性正则化提高策略的抗扰动能力和使用对抗训练增强分类器效果。研究表明，这些新方法在多种攻击下提高了算法的鲁棒性和样本效率，并在多个基准测试中表现优异。
延伸解读
鲁棒性认证：从逐步到整体
文章指出，传统方法要求强化学习策略在每个时间步都保持鲁棒性，这可能导致过于保守。提出的新方法利用采样平滑和样条插值，直接认证总奖励，无需逐步鲁棒。这意味着在保证整体累积奖励下界的同时，可能获得更高的认证下界，为安全关键应用提供更实用的认证途径。
平滑性正则化：提升策略抗扰动与样本效率
SR²L框架通过引入平滑性正则化，使策略在连续状态空间中的过渡更平滑。在TRPO和DDPG上的实验表明，该方法不仅提高了策略对扰动的抵抗能力，还提升了样本效率。这提示我们，平滑性约束可以作为一种通用技术，嵌入到现有深度强化学习算法中，以较低成本增强鲁棒性。
对抗训练与随机平滑分类器的结合
文章提出使用对抗训练来增强基于随机平滑的分类器，并设计了适应平滑分类器的攻击方法。在ImageNet和CIFAR-10上，该方法显著优于现有的可证明L2鲁棒分类器。这表明对抗训练与随机平滑的结合可以同时提升经验鲁棒性和可证明鲁棒性，且半监督学习和预训练能进一步改善效果。
多智能体扩展与在线鲁棒训练
文章讨论了将单智能体鲁棒性方法扩展到多智能体场景，以QMIX为例，使用多种攻击训练模型。同时，Robust Student-DQN系统实现了在线鲁棒性训练，使Q网络在强敌手攻击下保持鲁棒。这些工作表明，鲁棒性训练可以跨智能体数量和训练范式迁移，但需要针对具体攻击设计训练策略。
Q&A
深度强化学习中的鲁棒性提升方法有哪些？
主要包括平滑性正则化、对抗训练和黑盒认证方法等。
什么是平滑性正则化的 Deep RL 框架？
平滑性正则化的 Deep RL 框架 $SR^2L$ 提高了策略的抗扰动能力和样本效率。
对抗训练如何提高分类器的效果？
对抗训练通过设计适应平滑分类器的攻击方法，显著提升了在 ImageNet 和 CIFAR-10 上的性能。
如何认证平滑策略的累积奖励？
可以通过一种通用的黑盒认证方法，在各种 $l_p$ 范数边界扰动下直接认证平滑策略的累积奖励。
DQN 代理如何应对对抗攻击？
DQN 代理通过调整策略能够恢复和适应对抗条件，从而提高鲁棒性。
DreamSmooth 方法的主要优势是什么？
DreamSmooth 方法通过学习预测时间上平滑的奖励，在长时间范围的稀疏奖励任务上实现了最先进的性能。
