从差分隐私中减弱语言模型微调的偏见
内容提要
本文综述差分隐私机器学习中的公平性问题，指出DP-SGD因梯度裁剪和噪声对少数类影响更大，导致模型不公平。研究提出FairDP、JFT、DAP等机制，通过分组训练、微调预训练模型、对抗训练等方法，在隐私、效用与公平间取得更好平衡，并验证了隐私微调在医学等敏感领域的可行性。
延伸解读
差分隐私与公平性的内在冲突
文章指出，DP-SGD 中的梯度裁剪和噪声添加对少数类样本影响更大，导致模型准确率不公平。即使数据仅有轻微不平衡或隐私保证较宽松，也会引发非公平性。这表明隐私保护机制可能无意中加剧偏见，在敏感领域应用时需谨慎评估公平性影响。
FairDP：分组训练平衡隐私与公平
FairDP 通过为不同个体群体独立训练模型，并使用群体特定的剪辑术语来评估和限制差分隐私的差异影响。训练过程中逐步集成群体模型知识，形成平衡隐私、效用和公平性的综合模型。理论和实证分析显示，与现有方法相比，FairDP 在权衡上有所改善。
隐私微调在医学领域的可行性
研究表明，预训练基础模型经差分隐私微调后，在下游任务中可实现接近非隐私分类器的准确性，包括两个医学成像基准数据集。此外，隐私医学分类器在不同人口群体间没有更大的性能差异。这使差分隐私训练成为敏感数据安全机器学习训练的实用技术。
其他机制：JFT、DAP 与去偏增强
JFT 框架用于大型 Transformer 模型的选择性差分隐私，处理敏感标记缺失。DAP 通过对抗训练平衡性能、速度和隐私，并引入 AOP 指标。另有研究探讨文本生成中隐私与去偏的权衡，发现保护隐私会加剧分类偏见，需在损失部分隐私下通过去偏增强模型效用。
Q&A
DP-SGD算法为什么会导致模型不公平？
DP-SGD在训练神经网络时，梯度裁剪和噪声加法等机制对复杂和少数类样本的影响更大，造成训练模型的准确率不公平，因此不适用于存在不平衡类别数据的训练任务。
FairDP机制是如何同时确保差分隐私和公平性的？
FairDP通过为不同的个体群体独立训练模型，并使用群体特定的剪辑术语来评估和限制DP的差异影响。在整个训练过程中，该机制逐步集成来自群体模型的知识，从而制定在下游任务中平衡隐私、实用性和公平性的综合模型。
差分隐私微调在医学等敏感领域有什么可行性？
预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，隐私医学分类器在不同人口群体之间没有更大的性能差异。这使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练。
JFT框架是什么？它有什么作用？
JFT（Just Fine-tune Twice）是一种用于保护最先进的大型Transformer模型的选择性差分隐私的新框架，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。
DAP技术如何解决差分隐私的局限性？
DAP（判别性对抗隐私）通过达到模型性能、速度和隐私之间的平衡来解决DP的局限性。它依靠对抗训练，基于一种新的损失函数，该函数能够最小化预测误差并最大化MIA的误差。此外，引入了一种名为“准确性隐私权”（AOP）的新指标来捕捉性能-隐私权衡。
在文本生成模型中，隐私保护和去除社交偏见能否同时兼顾？
实验证明，保护隐私的同时也会使分类任务中的偏见加剧。为了在双方兼顾的情况下提高模型的效用，在损失一些隐私保护的基础上，通过去偏增强模型可以达到最优化。
