BriefGPT - AI 论文速递
·
重尾扰动下的噪声 (S) GD 的差分隐私
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
小批量随机梯度下降（SGD）训练深度神经网络（DNNs）具有卓越的测试性能。差分隐私（DP）确保 DNN 的训练时，DP-SGD 会向截断梯度添加高斯噪声。大批量训练仍然导致性能下降，因为强 DP 保证需要使用大规模批次。无噪声 SGD 也存在隐式偏差，加入额外噪声会放大偏差。大批量 DP-SGD 训练的性能问题根源于 SGD 的潜在原则，为大批量训练策略的改进提供了希望。
🎯
关键要点
- 小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。
- DP-SGD 向截断梯度添加高斯噪声以确保 DNN 的训练具有差分隐私（DP）。
- 大批量训练导致显著的性能下降，强 DP 保证需要使用大规模批次。
- 无噪声 SGD 也存在隐式偏差，随机性是导致这种偏差的原因。
- 额外的各向同性高斯噪声会放大隐式偏差。
- 大批量 DP-SGD 训练的性能问题源于 SGD 的潜在原则，为大批量训练策略的改进提供了希望。
➡️
