关于差分隐私微调的收敛性：线性探测还是全面微调？
内容提要
该文综述差分隐私微调技术进展，涵盖DP-BiTFiT、线性探针、JFT等参数高效方法，在长序列、视觉及语言任务中兼顾隐私与精度，速度与内存优于全微调，并拓展至医学影像等领域。
延伸解读
线性探测与全微调的权衡
文章指出，在预训练特征优秀且分布偏移较大的情况下，线性探测比全微调具有更好的鲁棒性。而全微调若以固定或随机线性层初始化，会导致分布偏移下错误率明显上升。线性探测后再进行全微调的策略可以优化这一问题。这提示读者，在隐私保护微调中，选择线性探测还是全微调需考虑数据分布偏移程度。
参数高效方法的效率优势
DP-BiTFiT等参数高效方法在长序列和高分辨率图片任务中，速度和内存使用量分别是DP全微调的2-30倍和2-8倍，同时达到DP算法的最高精度。这表明参数高效微调能显著降低计算成本，使隐私保护微调更实用，尤其适合资源受限场景。
差分隐私在医学影像中的应用
文章提到，预训练基础模型经差分隐私微调后，在包括两个医学成像基准在内的四个数据集上，准确率接近非隐私分类器，且不同人口群体间性能差异未增大。这显示差分隐私训练在敏感数据领域具有实用性和可靠性，为医学影像等隐私敏感场景提供了可行方案。
Q&A
DP-BiTFiT是什么？它有什么优势？
DP-BiTFiT是一种不修改网络架构、参数高效、计算高效的模型无关机制，用于隐私保护微调。它实现了对长序列和高分辨率图片的隐私保护微调，达到了DP算法的最高精度及标准微调的效率，其速度和内存使用量是DP full fine-tuning的2-30倍和2-8倍。
线性探针和全微调在分布偏移下的鲁棒性有何不同？
在预训练特征优秀且分布偏移较大的情况下，与全微调相比，线性探针能够获得更好的模型鲁棒性。以固定或随机线性层初始化的全微调方法会导致模型在分布偏移下的错误率明显上升，而线性探针再进行全微调的策略则能够优化这一问题。
JFT框架是什么？它有什么特点？
JFT（Just Fine-tune Twice）是一种用于保护最先进的大型Transformer模型的选择性差分隐私的新框架，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。
差分隐私微调在医学影像领域有哪些应用？
预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，隐私医学分类器在不同人口群体之间没有更大的性能差异。
如何通过超参数选择加速差分隐私微调？
通过关键超参数的选择来加快训练，从而在计算机视觉和自然语言处理的基准任务中获得了新的最好表现，具有巨大的实际应用前景。
差分隐私持续预训练策略是什么？效果如何？
通过使用有限的公共数据，提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在ImageNet-21k上实现41.5%的差分隐私准确率（ε=8），以及在下游任务Places365和iNaturalist-2021上分别达到55.7%和60.0%的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。
