子采样不是魔法：大批量训练对差分隐私随机优化的作用
内容提要
本文综述随机梯度下降中批次大小与学习率的关系：小或适中批次泛化优于超大批次；梯度噪声尺度可预测最佳批次大小；自适应批次方法能稳定信噪比、加速收敛并简化调参；批次增大超过临界点后收敛不再加快，添加协方差噪声可改善大批次泛化。
延伸解读
批次大小与泛化的权衡
文章指出，在相同迭代次数下，小或适中批次在测试集上常优于超大批次。这提示读者，增大批次虽可提升计算效率，但可能损害泛化。理解这一权衡有助于在实际训练中根据资源与目标选择合适批次，而非盲目追求大批次。
梯度噪声尺度作为预测工具
梯度噪声尺度这一仅依赖梯度的统计量，可用于预测不同模型的最适合批次大小，并在监督学习、强化学习和生成模型等领域适用。这为调参提供了理论依据，读者可尝试利用该指标指导批次选择，减少试错成本。
自适应批次方法的优势
自适应批次方法通过稳定梯度信噪比，实现自动学习率选择并避免步长衰减，且不要求目标函数凸性。在图像分类基准上，这类方法能加速收敛并简化学习率调整。对于希望减少手动调参的实践者，这提供了可行方向。
大批次训练的临界点与改进
增加批次大小超过某临界点后，收敛时间不再减少，且该点常低于系统容量，意味着大批次策略可能无法充分利用计算资源。添加协方差噪声可改善大批次泛化而不影响优化性能。读者需注意批次增大的收益递减，并考虑噪声注入作为补救措施。
Q&A
大批量训练为什么有时反而会降低模型泛化性能？
文章指出，在相同迭代次数下，小或适中大小的 batch 在测试集上比非常大的 batch 表现更好。增加批量大小超过一定点后，对训练或测试损失的收敛时间不再减少，且这一点通常低于当前系统的容量，导致常用的大批量优化策略在无法充分利用计算资源前就会失败。
如何根据梯度噪声尺度来预测最佳批次大小？
文章提到，可以使用仅依赖梯度的统计量（gradient noise scale）来预测各种深度学习模型中最适合的 batch size 大小。该参数在监督学习数据、强化学习领域以及生成模型训练中都能适用。
自适应批次大小方法如何帮助优化训练？
文章介绍了一种动态批次大小自适应方法，通过估计随机梯度的方差并将批次大小调整为与目标函数成比例，从而消除学习速率降低的需要。该方法将批次大小与学习速率相结合，直接反映两者之间的已知关系，在图像分类基准测试中能更快地优化收敛，同时简化学习速率调整。
添加协方差噪声如何改善大批量训练的泛化性能？
文章提出在梯度中添加协方差噪声，通过对噪声矩阵的对数 Frobenius 范数进行特征提取，可以获得更精确的学习效果表现。实证研究表明，该方法不仅可以提高大批量训练的泛化性能，而且不会影响优化性能以及训练时间。
随机梯度下降中学习率与批次大小有什么关系？
文章指出，自适应批次大小方法将批次大小与学习速率相结合，直接反映了两者之间的已知关系。此外，研究还探讨了随着预算增长而改变最佳学习率计划，并基于随机微分方程提供 SGD 动态的理论解释。
为什么随机梯度下降找到的最小值能很好地泛化？
文章探讨了小批量大小影响参数朝向大证据最小值的作用。当学习速率固定时，建议选择使测试集准确性最大化的最佳批次大小。此外，大学习率可以通过引入隐含的正则化来帮助泛化。
