DNN 隐私泄露：模型倒置攻击和防御方法的调查
内容提要
该文综述深度学习模型的隐私攻击，涵盖模型反演、模型抽取与对抗攻击，重点介绍基于GAN的模型反演、GraphMI图神经网络攻击、动态记忆模型逆向攻击等方法，这些方法可提升攻击成功率并提取私有训练数据，同时探讨差分隐私等防御手段的局限。
延伸解读
模型反演攻击的演进与效率提升
文章梳理了模型反演攻击从2019年到2023年的发展脉络。基于生成对抗网络的方法通过引入软标签和建模类条件分布，将攻击成功率提升了150%；动态记忆模型逆向攻击则利用历史知识增强生成样本的多样性和区分性。这些进展表明，攻击者能够更高效地提取训练数据中的隐私信息，防御方面临持续升级的挑战。
图神经网络隐私威胁的特殊性
针对图神经网络的GraphMI攻击能够推断训练图中的离散边缘，这揭示了图结构数据特有的隐私风险。攻击者通过投影梯度模块处理离散性，并利用图自编码器融合拓扑、节点属性和模型参数，从而有效提取私有图数据。研究还发现，模型反演风险与边缘影响相关，且基本差分隐私难以在保持效用的同时抵御此类攻击。
差分隐私防御的局限性
文章多次指出差分隐私在模型反演攻击下的防御效果有限。例如，生成模型反演攻击实验证明差分隐私防护不足；GraphMI攻击也显示最基本的差分隐私几乎无法保护攻击同时保持良好效用。这提醒从业者，仅依赖差分隐私可能不足以应对先进的模型反演威胁，需要结合其他防御策略。
防御策略的平衡与改进方向
除了差分隐私，文章提到基于互信息正则化的防御方法，通过限制模型输入中的信息来削弱对手推断私有属性的能力，并在隐私保护与模型效用间取得更好平衡。此外，针对对抗攻击的优化目标和模型增强思想也能提升现有攻击算法的准确率，这间接反映了防御需考虑多种攻击面的综合影响。
Q&A
什么是模型反演攻击？
模型反演攻击是一种隐私攻击方法，旨在通过逆转深度神经网络，从模型的预测中推断出私有训练数据。攻击者利用模型的输出（如软标签）来重建训练样本，从而泄露敏感信息。
基于GAN的模型反演攻击是如何提高成功率的？
基于GAN的模型反演攻击通过训练鉴别器不仅区分真伪样本，还包括目标模型提供的软标签，从而为每个目标类建模私人数据分布。这种方法比先前的攻击方式成功率提高了150%，并且普适于多种数据集和模型。
GraphMI攻击方法针对什么模型？它是如何工作的？
GraphMI攻击方法针对图神经网络（GNNs），旨在通过反演目标模型中的GNN来提取训练图的私有图数据。它使用投影梯度模块解决图的离散性问题，并设计图自编码器模块来高效利用图拓扑、节点属性和目标模型参数进行边缘推断。
动态记忆模型逆向攻击（DMMIA）有什么特点？
DMMIA利用历史学习的知识与样本交互来诱导多样性生成，并通过构建两种原型（Intra-class Multicentric Representation和Inter-class Discriminative Representation）注入历史学习知识，从而获得更具多样性和区分性的生成结果。实验证明DMMIA优于现有的模型逆向攻击方法。
差分隐私在防御模型反演攻击方面的效果如何？
差分隐私在防御模型反演攻击方面效果有限。例如，在生成模型反演攻击下，差分隐私的防御效果有限；在GraphMI攻击中，最基本的差分隐私几乎无法保护攻击同时保持良好的效用。
有哪些防御模型反演攻击的方法？
一种基于互信息正则化的防御方法通过限制模型输入中包含的信息，从而限制对手从模型预测中推断出私有属性的能力。该方法能应用于多种模型，并在保护隐私和工具合理性方面取得更好的平衡。
