动态裁剪差分隐私SGD:基于梯度范数分布估计的动态裁剪
📝
内容提要
本研究针对差分隐私随机梯度下降(DP-SGD)中选择最优裁剪阈值C的挑战,提出了动态裁剪DP-SGD(DC-SGD)框架。通过利用差分隐私直方图估计梯度范数分布并动态调整裁剪阈值C,显著降低了超参数调优的负担,实验证明其在超参数调优上比DP-SGD快多达9倍,并在CIFAR10数据集上提高了10.62%的准确率。
➡️
本研究针对差分隐私随机梯度下降(DP-SGD)中选择最优裁剪阈值C的挑战,提出了动态裁剪DP-SGD(DC-SGD)框架。通过利用差分隐私直方图估计梯度范数分布并动态调整裁剪阈值C,显著降低了超参数调优的负担,实验证明其在超参数调优上比DP-SGD快多达9倍,并在CIFAR10数据集上提高了10.62%的准确率。