BriefGPT - AI 论文速递
·
子采样不是魔法：大批量训练对差分隐私随机优化的作用
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究发现，批量大小对DP-SGD中的总梯度方差有影响。子抽样引起的方差随批量大小增加而减小，大批量可以减小有效总梯度方差。实验证实了渐近区域的相关性，并发现总梯度方差随大批量增加而进一步减小。找到了大批量同样可以减小DP-SGD迭代的有效随机噪声方差的条件。
🎯
关键要点
- 研究了批量大小对区分隐私随机梯度下降（DP-SGD）中的总梯度方差的影响。
- DP-SGD 的总梯度方差可以分解为子抽样引起的方差和噪声引起的方差。
- 在迭代次数无限的极限情况下，噪声引起的方差与批量大小无关。
- 子抽样引起的方差随着批量大小的增加而减小。
- 大批量可以减小有效总梯度方差。
- 在实际设置中验证了渐近区域的相关性。
- 在渐近区域之外，总梯度方差随着大批量的增加而进一步减小。
- 找到了一个足够的条件，表明大批量同样可以减小 DP-SGD 迭代的有效随机噪声方差。
➡️
