从特征可视化到视觉电路：对抗模型操控的效果
内容提要
本文探讨了深度神经网络在对抗攻击中的脆弱性及其解释性，提出了新的特征可视化方法和对抗攻击策略，强调模型鲁棒性与解释性之间的关系。通过电路探测技术，揭示了模型内部结构及学习算法，提供了对抗性攻击机制的深入理解，并提出有效的防御方案。
延伸解读
解释器稳定性：对抗攻击下的脆弱性
文章指出，当前最先进的神经网络解释器容易被对抗性操纵欺骗，并区分了被动与主动两种欺骗类型。这意味着解释方法的稳定性本身就是一个关键指标，不能仅依赖解释结果来判断模型可靠性。开发鲁棒解释方法时，必须考虑对抗环境下的表现，否则解释可能误导对模型决策的理解。
浅层通道组合：共享的脆弱性来源
研究发现，不同对抗攻击类型中，浅层通道组合对模型的干扰较大，且存在共享的易受攻击通道组合。这提示防御机制可以针对这些共享脆弱点设计，而非仅针对特定攻击。同时，不同攻击对隐藏表示的影响存在差异，且与卷积核大小正相关，说明防御需考虑模型结构特性。
电路探测：从内部结构理解模型算法
电路探测技术通过自动发现计算中间变量的低层电路，实现对模型参数级别的因果分析。在简单算术任务上，它能解密模型学习的算法、揭示内部结构并追踪电路发展。在GPT2-Small和Medium中，该技术还发现了负责主谓一致和反身指代的电路，为理解大模型内部机制提供了新工具。
稳健解释防御：优于对抗训练的新方案
文章提出一种基于促进稳健解释的解释敏感防御方案，在MNIST、CIFAR-10和Restricted ImageNet上实验表明，其抵抗大扰动攻击时，能同时实现稳健分类和稳健解释，表现优于最先进的对抗训练方法。这证明鲁棒性与解释性存在相关性，且通过优化解释稳定性可以提升模型整体鲁棒性。
Q&A
如何防御深度神经网络的对抗攻击？
可以通过提取深度视觉模型计算图的子图来防御对抗攻击。
对抗攻击中有哪些类型的欺骗？
对抗攻击中有被动和主动两种欺骗类型。
浅层通道组合对模型的影响是什么？
浅层通道组合对模型的干扰较大，并且在不同攻击类型中具有共享的易受攻击通道组合。
电路探测技术的作用是什么？
电路探测技术用于揭示模型内部结构及学习算法，并进行因果分析。
对抗训练对模型的影响是什么？
对抗训练可以提高模型的鲁棒性和解释性，两者之间存在相关性。
如何生成对抗样本？
可以通过语义意义感知的结构化扰动来生成针对黑盒分类器的对抗样本。
