具有实例混淆的隐私保护语言模型推断
内容提要
该文综述大语言模型隐私风险，包括推断个人属性、泄露训练数据，指出现有匿名化与对齐防护不足。研究提出混淆函数、隐私保护语言模型及PrivQA基准，在保持效用同时增强隐私，并揭示越狱攻击仍可绕过防护。
延伸解读
隐私攻击的演进与LLM推断风险
文章梳理了隐私攻击从传统成员推理到LLM属性推断的演进。早期研究显示，医疗笔记掩码语言模型的成员推理攻击AUC可达0.9，误报率1%时效果提升51倍。而LLM能推断地点、收入、性别等个人属性，top-1准确率高达85%，成本仅为人类的1%，时间仅2.4%。这表明LLM的推断能力带来了前所未有的隐私威胁。
现有防护措施的局限性
文章指出，文本匿名化和模型对齐等常见防护措施对LLM推断攻击无效。即使使用隐私保护提示或思维链推理，GPT-4和ChatGPT仍有39%和57%的概率泄露私人信息。此外，越狱攻击可通过文本或图像输入绕过防护。这凸显了现有防御的不足，亟需探索基于推理和心智理论的新型隐私保护方法。
隐私保护技术的新方向
为应对隐私风险，文章介绍了多种技术方向。混淆函数可在不泄露训练数据的前提下保护隐私，并抵御四种攻击。隐私保护语言模型（PPLM）通过注入领域知识保护数据隐私，正负样本指令微调在增强知识的同时保护私人数据。此外，用隐私计算友好的近似替换Transformer重负荷操作，可降低私有推理成本，获得5倍加速和80%通信减少。
评估基准与效用权衡
文章强调了评估隐私保护效果的重要性。PrivQA基准用于评估多模态模型在保护个人信息时的隐私/效用权衡，并通过迭代自我调节响应提高隐私。ConfAIde基准测试则揭示了先进模型在具体情境中泄露私人信息的概率。这些基准有助于开发兼具隐私保护和对抗鲁棒性的新模型，推动更广泛的隐私保护讨论。
Q&A
什么是混淆函数？它有什么作用？
混淆函数是一种通用方法，可以在不泄露机器学习训练数据的前提下保护其中的隐私信息，并成功抵御了四种现有的机器学习隐私攻击。
大型语言模型能推断出个人的哪些属性？准确率如何？
大型语言模型能够推断广泛的个人属性，如地点、收入、性别等。在成本仅为人类1%、时间仅为人类2.4%的情况下，达到了高达85%的top-1准确率和95.8%的top-3准确率。
现有的隐私保护措施（如匿名化和模型对齐）能有效防止LLM推断攻击吗？
不能。研究表明，普遍采用的文本匿名化和模型对齐等缓解措施对于保护用户隐私免受LLM推断攻击是无效的。
什么是PrivQA基准？它的主要发现是什么？
PrivQA是一个多模式基准，用于评估在模拟场景中指示模型保护特定类别个人信息时的隐私/效用权衡。通过红队实验发现，对手可以通过简单的越狱方法（使用文本和/或图像输入）绕过这些保护。
隐私保护语言模型（PPLM）是如何保护数据隐私的？
PPLM通过有效注入特定领域知识来保护数据隐私，采用了语料库整理、基于惩罚性失真的训练损失和基于指令的微调等技术。实验证实，正负样本指令微调是一种有潜力的方法，能在增强模型知识的同时保护私人数据。
在医疗笔记等敏感领域，语言模型泄露训练数据的风险有多大？
使用类似于似然比假设检验的成员推理攻击方法，发现面向医疗笔记的掩模语言模型泄漏训练数据的隐私风险非常高，表现为先前攻击的AUC从0.66提高到0.9级别，并且在1%误报率的情况下，攻击效果比先前攻击提高了51倍。
