探索混合对抗训练中的双重 BN 技术

在对抗训练中应用批归一化（BN）时存在越来越多的关注，尤其是当模型在对抗样本和干净样本上进行训练时（即混合式对抗训练）；本研究揭示了统计数据的分离对模型训练起到的作用较小，而分离仿射参数则起到了更大的作用；通过研究表明对抗样本与干净样本之间的领域差距较小，这与对抗扰动对模型准确性的显著影响不一致；我们进一步提出了一个双任务假设，作为混合式对抗训练改进的经验证据和统一框架；同时，我们还探讨了测试时的对偶 BN 并揭示仿射参数在推理过程中刻画了模型的鲁棒性，从而为我们理解混合式对抗训练中对偶 BN 的机制及其潜在的理论基础提供了新的视角。