深度学习中的差分隐私块状梯度混洗
原文中文，约400字，阅读约需1分钟。发表于：。通过概率方法引入梯度噪声来保护隐私的 Differentially Private Block-wise Gradient Shuffle (DP-BloGS) 算法在训练时间接近于非私有训练的同时，保持与传统 Differentially Private Stochastic Gradient Descent (DP-SGD) 相似的隐私和效用保证，且 DP-BloGS 对数据提取的抵抗性显著增强。
小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。使用差分隐私（DP）确保 DNN 的训练时，DP-SGD 会向截断梯度添加高斯噪声。然而，大批量训练仍然导致显著的性能下降，这构成了一个重要的挑战。研究发现，随机性是这种隐式偏差的原因，即使加入了额外的各向同性高斯噪声。因此，大批量 DP-SGD 训练的性能问题根源于 SGD 的相同潜在原则。
