基于生成的替代模型的黑盒攻击方法
内容提要
该文综述黑盒对抗攻击与防御研究。攻击方面，AdvGAN利用生成对抗网络高效生成对抗样本，黑盒攻击成功率达92.76%；后续工作通过替代模型、主动学习、贝叶斯深度学习等方法减少查询并提升可转移性。防御方面，提出基于GAN的防御机制，对抗训练仍是最佳防御之一。
延伸解读
黑盒攻击的查询效率优化
文章指出，黑盒攻击中攻击者只能获取模型的输入和输出，因此查询次数是关键瓶颈。通过使用白盒攻击方法产生的样本训练替代模型，并结合主动学习策略和多样性准则，可以将查询数量减少超过90%，同时保持较高的攻击成功率。这表明，在无法访问模型内部信息时，优化查询策略能显著提升攻击的实用性。
替代模型与可转移性提升
为提高黑盒攻击的可转移性，文章提到利用贝叶斯深度学习技术，对神经网络权重的后验分布进行抽样来构建替代模型。这种方法在ImageNet上达到了94%的准确率，说明通过概率建模和训练方法改进，可以增强对抗样本在不同模型间的泛化能力，从而提升黑盒攻击的成功率。
防御策略的现状与挑战
在防御方面，文章提到基于生成对抗网络的防御机制在实验中表现良好，能与集成对抗训练和对抗训练等先进方法媲美。然而，结果表明对抗训练仍然是最佳的防御技术之一。这暗示尽管新的防御方法不断涌现，但对抗训练仍是当前应对黑盒攻击的可靠基线，防御研究仍需进一步突破。
Q&A
AdvGAN是什么？它在黑盒攻击中的表现如何？
AdvGAN是一种使用生成对抗网络（GAN）生成高感知质量对抗样本的方法，能高效生成对抗性扰动用于对抗训练。在半白盒和黑盒攻击设置下，AdvGAN在MNIST黑盒攻击竞赛中取得了92.76%的攻击成功率。
黑盒攻击和白盒攻击有什么区别？
白盒攻击中攻击者知道模型的参数和梯度，而黑盒攻击中攻击者只能获取模型的输入和输出。黑盒设置是实践中更常见的情况。
如何减少黑盒攻击的查询次数？
可以使用主动学习策略和多样性准则来优化替代模型，实验证明该方法能将查询数量减少超过90%，同时保持黑盒攻击成功率。
有哪些方法可以提高黑盒攻击的可转移性？
使用贝叶斯深度学习技术，以神经网络权重的后验分布进行抽样建立替代模型，可以进一步提高黑盒攻击的可转移性。该方法在ImageNet上获得了94%的准确率。
针对黑盒攻击有哪些防御方法？
提出了一种基于GAN框架的新防御机制，在经验上表现良好，能与集成对抗训练和对抗训练等最先进方法媲美。结果表明，对抗训练仍然是最佳的防御技术之一。
如何通过替代模型训练提高黑盒攻击的有效性？
提出了一种新的替代训练视角，着重设计知识窃取过程中使用的数据分布，包括多样化的数据生成模块来合成宽泛分布的大规模数据，并引入对接近决策边界的数据进行对抗替换训练策略。两个模块结合可进一步提高替代模型和目标模型的一致性，大大提高了对抗攻击的有效性。
