本文研究了DP-SGD算法在隐私保护下的收敛速度及其对梯度影响的限制,提出了AdaCliP和PCDP-SGD等新算法,以提高模型准确性并降低隐私损失。动态DP-SGD通过动态调整剪裁阈值和噪声幅度显著提升了模型性能,并探讨了样本梯度范数与估计偏差的关系,提出了Bias-Aware Minimization方法。
本研究探讨了样本梯度范数与DP-SGD中梯度估计偏差的关系,并提出了Bias-Aware Minimization(BAM)方法,用于降低私有梯度估计器的偏差。实证证据支持了在CIFAR-10、CIFAR-100和ImageNet-32数据集上的隐私-效用权衡。
完成下面两步后,将自动完成登录并继续当前操作。