本文提出了一种名为FFT增强卡尔曼滤波器（FFTKF）的差分隐私优化方法，旨在解决DP-SGD中噪声导致模型效用下降的问题。FFTKF结合频域噪声塑形与卡尔曼滤波，提升了梯度质量，保持了差分隐私保证，显著提高了测试准确性。

本研究探讨了DP-SGD训练中噪声对梯度方向的负面影响，提出了几何扰动策略GeoDP，显著提高模型效率，减少方向噪声，同时确保隐私保护。实验结果表明，该方法在多个数据集和模型上均有效。

本研究探讨了DP-SGD超参数对隐私保护机器学习算法性能的影响，揭示了剪切阈值与学习率之间的关系，并量化了其重要性，为优化隐私与效用的权衡提供了新思路。

本文探讨了如何利用差分隐私（DP）训练机器学习模型，以ImageNet图像分类为例。研究表明，在较小隐私成本下，DP训练深度神经网络是有效的，并提出了新的算法技术。实验结果显示，DP-SGD算法在图像分类任务中达到了新的最高精度，缩小了私有与非私有分类之间的精度差距。

本文研究了DP-SGD算法在隐私保护下的收敛速度及隐私损失，提出了新的RDP界限和动态DP-SGD算法，显著提高了模型的准确性和隐私保障，尤其是在非凸损失函数的情况下。

本文研究了DP-SGD算法在隐私保护下的收敛速度及其对梯度影响的限制，提出了AdaCliP和PCDP-SGD等新算法，以提高模型准确性并降低隐私损失。动态DP-SGD通过动态调整剪裁阈值和噪声幅度显著提升了模型性能，并探讨了样本梯度范数与估计偏差的关系，提出了Bias-Aware Minimization方法。

本文综述差分隐私随机梯度下降（DP-SGD）的研究进展，主要包括：隐私预算与噪声的平衡、动态调整剪裁阈值和噪声、DP-SGD与DP-NSGD的收敛分析、大批量训练性能下降源于SGD隐式偏差被噪声放大、迭代隐私放大的统一框架、缓解剪裁偏差的新方法、个性化采样机制以及隐私泄露的指数收敛。

本文综述差分隐私机器学习中的超参数优化与隐私泄漏问题，涵盖DP-SGD多次调参的隐私损耗、Renyi差分隐私核算、DP-HyPO框架、自适应裁剪、大批量训练、隐私特征选择及隐私覆盖度指标等方法，旨在提升隐私保护下的模型效用与实用性。

本文综述差分隐私机器学习中的公平性问题，指出DP-SGD因梯度裁剪和噪声对少数类影响更大，导致模型不公平。研究提出FairDP、JFT、DAP等机制，通过分组训练、微调预训练模型、对抗训练等方法，在隐私、效用与公平间取得更好平衡，并验证了隐私微调在医学等敏感领域的可行性。

本文综述差分隐私与算法公平性的关系：差分隐私在基线设置下可能扩大组间性能差异，在鲁棒设置下则可缩小差异，因其具有正则化效应。研究还涉及数据不平衡、隐私保证、对抗性公平分类、公平性的隐私成本，以及DP-SGD与目标扰动机制的比较，并探讨敏感属性受限时的公平学习算法及隐私、公平与效用间的权衡。

该文综述差分隐私在机器学习中的应用，涵盖隐私覆盖度、DP-SGD个性化预算、ImageNet训练、Rényi组合定理及目标扰动机制改进，探讨隐私与效用权衡，并指出隐私机制可能更易受模型反演攻击。

本文综述大语言模型差分隐私微调研究，涵盖多项关键技术：DPZero以近乎维度无关的零阶算法降低内存与隐私成本；结合预训练模型与非标准化超参数可提升隐私训练效果；内存节省技术使DP-SGD无需逐样本梯度即可运行；JFT框架实现选择性差分隐私；DP-ZeRO支持超大模型隐私训练；动态DP-SGD自适应调整裁剪与噪声；DP-FTRL更灵活适用于联邦学习；BK技术降低优化器计算成本；个性化采样机制支持用户级隐私保护。

该文综述深度学习训练数据的隐私保护，比较不同优化方法对模型性能与隐私攻击的影响，指出dropout和L2正则化较优；提出DP-LSSGD、动态DP-SGD、个性化DP-SGD及IDP-SGD等改进算法，通过拉普拉斯平滑、动态调整裁剪阈值与噪声、个性化隐私预算降低性能损失并提升隐私保障，实验效果优于传统DP-SGD。

本文研究了采用差分隐私保护方法进行深度学习训练，在图像分类任务中取得了新的最高精度。通过调优超参数和利用技巧提高信号传播和收敛速度。证明了过参数化模型的DP-SGD方法可以缩小私有和非私有图像分类的精度差距。

ExpM+NF是一种用于在私有数据上训练具有预定差分隐私保证的机器学习模型的方法。实验结果显示，ExpM+NF在多个分类任务上的准确率超过93%，比DPSGD具有更高的准确性和更好的隐私保护能力。该方法对差分私有机器学习的发展具有重要意义，并提出了未来的研究方向。

该论文研究了单输出节点全连接神经网络的差分隐私随机优化问题，提出了多个算法。研究表明，不同数据维度下可实现超出总体风险的可行性。此外，还研究了具有ReLU激活函数的两层神经网络以及DP-SGD在全连接多层神经网络中的理论保证和参数的作用。

本研究探讨了样本梯度范数与DP-SGD中梯度估计偏差的关系，并提出了Bias-Aware Minimization（BAM）方法，用于降低私有梯度估计器的偏差。实证证据支持了在CIFAR-10、CIFAR-100和ImageNet-32数据集上的隐私-效用权衡。