深度学习中的差分隐私块状梯度混洗

小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。使用差分隐私（DP）确保 DNN 的训练时，DP-SGD 会向截断梯度添加高斯噪声。然而，大批量训练仍然导致显著的性能下降，这构成了一个重要的挑战。研究发现，随机性是这种隐式偏差的原因，即使加入了额外的各向同性高斯噪声。因此，大批量 DP-SGD 训练的性能问题根源于 SGD 的相同潜在原则。