鲁棒性一致的对抗训练用于安全机器学习模型更新
内容提要
该文综述对抗鲁棒性研究：深度网络生成的对抗样本可在相似网络间迁移，且更强模型更难被攻击；连续学习会遗忘鲁棒性，为此提出双梯度投影法。此外还涉及FLAT特征级对抗训练、MAAR防御、公平鲁棒学习框架及集中/分散对抗训练等方法，并揭示鲁棒性与标准泛化存在固有矛盾。
延伸解读
对抗样本的迁移性及其影响
文章指出，对抗样本在相似网络拓扑间具有可传递性，且更强的模型更不易受攻击。这意味着攻击者可能利用迁移性攻击未知模型，而防御者需考虑模型架构的相似性。这一发现强调了对抗鲁棒性评估需跨模型进行，而非仅针对单一模型。
连续学习中的鲁棒性遗忘与双梯度投影
神经网络在学习新任务时会遗忘先前的对抗鲁棒性，导致复杂防御失效。为此，文章提出双梯度投影法，通过将权重更新梯度正交投影到两个子空间，分别稳定样本梯度和网络输出，从而在连续学习中保持鲁棒性，实验证明其优于现有基线。
鲁棒性与标准泛化的固有矛盾
文章揭示追求对抗鲁棒性与标准泛化之间存在固有紧张关系：训练鲁棒模型可能更耗时且降低标准准确性，原因是鲁棒分类器学习了根本不同的特征表示。这一矛盾提示在实际应用中需权衡鲁棒性与准确性，而非盲目追求单一目标。
公平鲁棒学习与数据不平衡
对于平衡数据集，对抗训练算法可能导致不同类别的准确度和鲁棒性出现严重差异。为此，文章提出Fair-Robust-Learning框架以解决这种不公平问题，并在实验中验证其有效性。这提醒研究者和开发者关注鲁棒性在不同类别间的分布均衡。
Q&A
对抗样本能在不同模型之间迁移吗？
是的，对抗样本在相似的网络拓扑间是可传递的，并且更好的机器学习模型更不容易受到对抗样本的攻击。
连续学习为什么会导致鲁棒性遗忘？
因为神经网络在学习新任务时容易忘记先前的对抗鲁棒性，复杂的防御算法所获得的对抗鲁棒性很容易被抹去。
双梯度投影法是如何实现连续鲁棒学习的？
双梯度投影法通过将权重更新的梯度正交投影到两个关键子空间上，一个用于稳定平滑的样本梯度，另一个用于稳定神经网络的最终输出，从而实现连续鲁棒学习。
FLAT 方法如何提高模型鲁棒性？
FLAT 是一种特征级对抗性训练方法，通过正则化全局词重要性分数来调节模型在替换词及其同义词的原始/对抗性示例对中的理解保持一致，从而提高模型对预测和解释方面的鲁棒性。
MAAR 防御方法有什么特点？
MAAR 通过添加新的一致性正则化项来更好地利用虚假分类样本，在 CIFAR-10 和 MNIST 数据集上实现了最佳的认证鲁棒性和可比较的准确性。
对抗鲁棒性和标准泛化之间存在什么关系？
追求对抗鲁棒性和标准泛化之间存在固有的紧张关系，训练鲁棒性模型不仅可能更加费时，也会导致标准准确性的降低，并且这种现象是由于鲁棒分类器学习了根本不同的特征表示方法。
