SoK: 降低 Fine-tuned 语言模型对成员推断攻击的脆弱性
内容提要
人工智能在多个领域的应用日益普遍，但隐私风险也逐渐显现。研究表明，大型语言模型易受到成员推理攻击，攻击者可通过少量样本推断用户数据是否被用于训练。为此，提出了一种新框架，利用集合方法提高攻击模型的准确性，并探讨差分隐私在主题模型中的应用，以增强隐私保护。
延伸解读
成员推理攻击的评估价值
文章指出，评估机器学习模型的隐私风险对于决定是否使用、部署或共享模型至关重要。成员推理攻击作为一种常见的评估方法，通过模拟攻击来测量模型泄露训练数据成员信息的成功率。这种评估有助于量化隐私风险，为决策提供依据。
集成方法提升攻击准确性
文章提出了一种新颖的框架，利用集成方法针对数据的不同子集生成多个专门的攻击模型。实验证明，这种方法在经典和语言分类任务中比单个攻击模型或每个类标签的攻击模型具有更高的准确性。这表明集成策略能更有效地评估隐私风险。
主题模型同样面临隐私风险
文章将研究扩展到主题模型，提出了一种攻击方法，能够自信地识别潜在狄利克雷分布中的训练数据成员。结果表明，与生成神经模型相关的隐私风险并不仅限于大型模型，简单的生成模型如主题模型也存在类似的弱点。
差分隐私的缓解作用
为了减轻主题模型的隐私弱点，文章探讨了差分隐私的主题模型，提出了一个框架，将差分隐私词汇选择作为预处理步骤纳入私有主题模型。展示它在保护隐私方面的改进，且对实际效用影响较小。这为隐私保护提供了实用方案。
Q&A
大型语言模型面临哪些隐私风险？
大型语言模型易受到用户推测攻击，攻击者可以通过少量样本推断用户数据是否被用于训练。
如何评估机器学习模型的隐私风险？
评估机器学习模型的隐私风险通常通过运行已知攻击来评估攻击的成功率。
提出的框架如何提高成员推理攻击的准确性？
新框架利用集合方法，针对数据的不同子集生成多个专门的攻击模型，从而提高准确性。
差分隐私在主题模型中的应用有什么效果？
差分隐私在主题模型中的应用能够增强隐私保护，且对实际效用影响较小。
攻击模型的效果受哪些因素影响？
攻击模型的效果主要由数据集和参与者数量驱动，数据的不同子集也会影响结果。
有哪些对策可以减轻隐私风险？
论文给出了相应的对策和缓解策略，以减轻隐私风险，包括限制单个用户的细调样本数量。
