预训练特征提取器的不可区分数据毒化攻击
内容提要
该文综述机器学习中的数据中毒攻击，包括通过污染训练数据破坏模型可用性、窃取用户隐私或操控预测，涵盖可转移攻击、成员推断、属性推断、数据提取及PoisonedEncoder等，并提出基于离群值检测、数据清洗的防御机制，指出需开发更稳健的防御方法。
延伸解读
攻击的演进：从传统模型到预训练编码器
文章梳理了数据中毒攻击的发展脉络。早期研究关注传统机器学习分类器，通过污染训练数据破坏模型可用性或窃取隐私。2022年提出的PoisonedEncoder将攻击目标转向无标签预训练数据，通过注入精心制作的污染输入，构建受攻击者控制的中毒编码器，使下游分类器将任意干净输入误判为指定类别。这标志着攻击面从有监督训练扩展到了自监督预训练阶段，防御难度显著增加。
隐私泄露：中毒攻击的隐蔽危害
除了破坏模型可用性，数据中毒攻击还可用于窃取用户隐私。文章提到一种攻击方式，通过污染训练数据集，导致模型泄露属于其他用户的私人数据，具体包括成员推断、属性推断和数据提取等。这类攻击不直接改变模型预测，而是利用模型对训练数据的记忆效应，推断出敏感信息，对用户隐私构成严重威胁，且往往难以被常规防御机制察觉。
防御困境：数据清洗的局限与挑战
文章指出，现有基于离群值检测和数据清洗的防御措施存在不足。攻击者可以协调毒化点的放置位置，并基于约束条件设计攻击，从而规避数据清洗。例如，有研究开发了三种基于二级规划问题的方法，利用影响函数、极小-极大假说和KKT条件来绕过防御。实验结果表明，需要开发更稳健的数据清洗防御措施，以应对不断演化的数据毒化攻击威胁。
Q&A
数据中毒攻击是什么？它有哪些主要危害？
数据中毒攻击是通过污染训练数据来破坏机器学习模型可用性、窃取用户隐私或操控预测的攻击方式。其主要危害包括降低模型性能、泄露用户隐私数据以及使模型做出攻击者期望的错误预测。
PoisonedEncoder攻击是如何实现的？
PoisonedEncoder攻击通过在无标签的预训练数据中注入精心制作的污染输入，为多目标下游任务构建基于受攻击者选择的中毒编码器的下游分类器，使得这些分类器将任意干净输入分类为攻击者选择的类别。该攻击还提出了一种针对对比学习的方法来近似求解，并评估了五种防御策略。
有哪些防御数据中毒攻击的方法？
防御数据中毒攻击的方法包括基于离群值检测来检测对抗样本与真实样本之间的差异，以及数据清洗等。但研究表明，现有数据清洗防御措施存在不足，攻击者可以设计方法规避，因此需要开发更稳健的防御措施。
可转移的中毒攻击是什么？
可转移的中毒攻击是一种能够泛化到不同学习算法和范式的中毒攻击，它通过生成高频中毒扰动，显著改善了攻击的可转移性。
数据中毒攻击如何威胁用户隐私？
数据中毒攻击可以通过污染训练数据集，导致模型泄露属于其他用户的私人数据。这种攻击包括成员推断、属性推断和数据提取等多方面，可能会危及多方面的用户隐私。
为什么现有的数据清洗防御措施不足以应对数据中毒攻击？
因为攻击者可以协调毒化点放置位置并基于约束条件设计攻击，开发出三种不同方法规避现有的数据清洗防御措施。这些攻击方法基于耗时的二级规划问题，并通过影响函数、极小-极大假说和KKT条件实现，实验结果表明需要开发更稳健的数据清洗防御措施。
