子采样不是魔法:大批量训练对差分隐私随机优化的作用

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

研究发现,批量大小对DP-SGD中的总梯度方差有影响。子抽样引起的方差随批量大小增加而减小,大批量可以减小有效总梯度方差。实验证实了渐近区域的相关性,并发现总梯度方差随大批量增加而进一步减小。找到了大批量同样可以减小DP-SGD迭代的有效随机噪声方差的条件。

🏷️

标签

➡️

继续阅读