大型语言模型的私人微调与零阶优化
内容提要
本文综述大语言模型差分隐私微调研究，涵盖多项关键技术：DPZero以近乎维度无关的零阶算法降低内存与隐私成本；结合预训练模型与非标准化超参数可提升隐私训练效果；内存节省技术使DP-SGD无需逐样本梯度即可运行；JFT框架实现选择性差分隐私；DP-ZeRO支持超大模型隐私训练；动态DP-SGD自适应调整裁剪与噪声；DP-FTRL更灵活适用于联邦学习；BK技术降低优化器计算成本；个性化采样机制支持用户级隐私保护。
延伸解读
零阶优化：降低内存与隐私成本的新路径
DPZero 算法通过零阶优化实现近乎维度无关的隐私成本，这为大型语言模型在内存受限环境下的隐私微调提供了新思路。相比传统 DP-SGD 需要逐样本梯度，零阶方法可能减少内存占用，但文章未具体说明其在实际部署中的性能损失。读者需关注该算法在模型规模扩展时的实际表现。
内存节省技术：让 DP-SGD 更实用
文章提到一种内存节省技术，使 DP-SGD 无需对线性层实例化每个样本的梯度即可运行裁剪，成本与非隐私训练相当，仅有适度运行时间开销。这解决了大型 Transformer 上 DP-SGD 的计算难题，但该技术对模型架构的通用性以及在不同任务上的开销比例仍需进一步验证。
选择性隐私与动态调整：平衡效用与保护
JFT 框架实现选择性差分隐私，允许仅对敏感标记进行保护，并处理敏感标记缺失的情况。动态 DP-SGD 则自适应调整裁剪阈值和噪声幅度以减少性能损失。这两种方法都试图在隐私保证与模型效用间取得更好平衡，但选择性隐私的实际隐私保证强度取决于敏感标记识别的准确性。
面向超大模型与联邦学习的隐私训练方案
DP-ZeRO 支持超大模型的隐私训练，DP-FTRL 则比 DP-SGD 更灵活，适用于联邦学习等场景且无需隐私扩展。BK 技术降低优化器计算成本，个性化采样机制支持用户级隐私。这些方案扩展了隐私微调的适用边界，但文章未提供它们之间的直接性能对比，读者需根据具体场景评估取舍。
Q&A
DPZero 是什么？它主要解决什么问题？
DPZero 是一种具有几乎维度无关率的差分隐私零阶算法，用于微调预训练语言模型，以解决大型语言模型在内存和隐私方面面临的挑战，对于实际中的语言模型部署具有高度实用性。
在差分隐私训练中，如何节省内存并避免逐样本梯度计算？
文章提出了一种内存节省技术，可以在大型 Transformers 上运行 DP-SGD 时，无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私训练相当，仅有适度的运行时间开销。
JFT 框架是做什么的？它有什么特点？
JFT（Just Fine-tune Twice）是一个用于保护最先进大型 Transformer 模型的选择性差分隐私的新框架，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。
DP-ZeRO 系统有什么用途？
DP-ZeRO 用于系统化解决可训练的巨大 DP 模型的问题，实现深度学习和大型模型的隐私保护训练。
动态 DP-SGD 算法是如何提升模型准确性的？
动态 DP-SGD 算法通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。
DP-FTRL 相比 DP-SGD 有什么优势？适用于什么场景？
DP-FTRL 是一种比 DP-SGD 更加灵活的模型训练方法，在隐私、准确性和计算方面表现都很好，特别适用于联邦学习等实际场景，同时也不需要使用任何隐私扩展。
BK 技术是什么？它有什么作用？
BK（Book-Keeping）技术用于实现现有的 DP 优化器，以降低计算成本，并在视觉和语言任务方面进行广泛实验，取得了 SOTA 精度。
如何实现用户级的个性化差分隐私保护？
文章提出了一种基于个性化采样机制的深度学习 DP-SGD 扩展算法，支持针对不同用户的个性化差分隐私保护，实验证明其性能和效率优于现有的 DP-SGD 和 PDP 机制。
