本文提出了一种名为FFT增强卡尔曼滤波器（FFTKF）的差分隐私优化方法，旨在解决DP-SGD中噪声导致模型效用下降的问题。FFTKF结合频域噪声塑形与卡尔曼滤波，提升了梯度质量，保持了差分隐私保证，显著提高了测试准确性。

本研究探讨了DP-SGD训练中噪声对梯度方向的负面影响，提出了几何扰动策略GeoDP，显著提高模型效率，减少方向噪声，同时确保隐私保护。实验结果表明，该方法在多个数据集和模型上均有效。

本研究探讨了DP-SGD超参数对隐私保护机器学习算法性能的影响，揭示了剪切阈值与学习率之间的关系，并量化了其重要性，为优化隐私与效用的权衡提供了新思路。

本文探讨了如何利用差分隐私（DP）训练机器学习模型，以ImageNet图像分类为例。研究表明，在较小隐私成本下，DP训练深度神经网络是有效的，并提出了新的算法技术。实验结果显示，DP-SGD算法在图像分类任务中达到了新的最高精度，缩小了私有与非私有分类之间的精度差距。

本文研究了DP-SGD算法在隐私保护下的收敛速度及隐私损失，提出了新的RDP界限和动态DP-SGD算法，显著提高了模型的准确性和隐私保障，尤其是在非凸损失函数的情况下。

本文研究了DP-SGD算法在隐私保护下的收敛速度及其对梯度影响的限制，提出了AdaCliP和PCDP-SGD等新算法，以提高模型准确性并降低隐私损失。动态DP-SGD通过动态调整剪裁阈值和噪声幅度显著提升了模型性能，并探讨了样本梯度范数与估计偏差的关系，提出了Bias-Aware Minimization方法。

研究发现，批量大小对DP-SGD中的总梯度方差有影响。子抽样引起的方差随批量大小增加而减小，大批量可以减小有效总梯度方差。实验证实了渐近区域的相关性，并发现总梯度方差随大批量增加而进一步减小。找到了大批量同样可以减小DP-SGD迭代的有效随机噪声方差的条件。

通过使用预训练的语言模型、非标准化超参数和fine-tuning目标结合DP优化技术，可以在中等规模的语料库上获得胜过强基线和同一隐私预算下的DP-trained模型的NLP模型。同时，提出了一种内存节省技术来解决在大型Transformers上运行DP-SGD的计算难题，该技术可以使得clip在DP-SGD中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

本文研究了采用差分隐私保护方法进行深度学习训练，在图像分类任务中取得了新的最高精度。通过调优超参数和利用技巧提高信号传播和收敛速度。证明了过参数化模型的DP-SGD方法可以缩小私有和非私有图像分类的精度差距。

ExpM+NF是一种用于在私有数据上训练具有预定差分隐私保证的机器学习模型的方法。实验结果显示，ExpM+NF在多个分类任务上的准确率超过93%，比DPSGD具有更高的准确性和更好的隐私保护能力。该方法对差分私有机器学习的发展具有重要意义，并提出了未来的研究方向。

该论文研究了单输出节点全连接神经网络的差分隐私随机优化问题，提出了多个算法。研究表明，不同数据维度下可实现超出总体风险的可行性。此外，还研究了具有ReLU激活函数的两层神经网络以及DP-SGD在全连接多层神经网络中的理论保证和参数的作用。

本研究探讨了样本梯度范数与DP-SGD中梯度估计偏差的关系，并提出了Bias-Aware Minimization（BAM）方法，用于降低私有梯度估计器的偏差。实证证据支持了在CIFAR-10、CIFAR-100和ImageNet-32数据集上的隐私-效用权衡。