Block Gradient Shuffling with Differential Privacy in Deep Learning
内容提要
本文探讨了差分隐私随机梯度下降（DP-SGD）在大型模型训练中的应用，提出了动态 DP-SGD 算法以提高模型准确性并降低性能损失，同时研究了隐私预算和个性化采样机制，以优化隐私保护与计算效用之间的平衡。
延伸解读
动态调整剪裁与噪声：DP-SGD 的效用改进思路
文章指出，动态 DP-SGD 算法通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高模型准确性。这提示我们，传统 DP-SGD 中固定剪裁阈值和噪声幅度可能不是最优选择，根据训练过程动态调整这些参数，有望在隐私与效用之间取得更好平衡。
隐私预算与噪声比例：平衡隐私与效用的训练范式
文章着重研究了隐私预算问题，提出一套训练范式，通过调整噪声比例，使更多噪声能被纳入隐私预算，从而在保护隐私和维护计算效用之间提供更好的平衡方案。这意味着，在实际部署中，合理分配噪声并优化隐私预算的使用，可能比单纯增加噪声或减少噪声更有效。
个性化采样机制：面向不同用户的差分隐私保护
基于个性化采样机制的深度学习 DP-SGD 扩展算法，支持针对不同用户的个性化差分隐私保护，实验证明其性能和效率优于现有的 DP-SGD 和 PDP 机制。这表明，在用户隐私需求各异的应用场景中，统一隐私保护可能不是最佳选择，个性化机制能更灵活地满足不同用户的隐私要求。
大批量训练的挑战与隐式偏差的根源
文章指出，使用小批量 SGD 训练 DNN 相比大批量训练具有更好的测试性能，这种隐式偏差源于 SGD 的噪声结构。在 DP-SGD 中，大批量训练仍导致显著性能下降，而强 DP 保证需要大规模批次。理论分析表明，额外噪声会放大隐式偏差，这为改进大批量训练策略提供了方向。
Q&A
动态 DP-SGD 算法如何提高模型准确性？
动态 DP-SGD 算法通过动态调整剪裁阈值和噪声幅度来降低性能损失，从而显著提高模型的准确性。
差分隐私随机梯度下降（DP-SGD）有哪些主要缺点？
DP-SGD 的主要缺点是效用下降和显著的计算成本。
如何优化隐私保护与计算效用之间的平衡？
通过调整噪声比例，可以使更多的噪声纳入隐私预算，从而在保护隐私和维护计算效用之间提供更好的平衡方案。
个性化采样机制在 DP-SGD 中的作用是什么？
个性化采样机制支持针对不同用户的个性化差分隐私保护，实验证明其性能和效率优于现有的 DP-SGD 和 PDP 机制。
小批量随机梯度下降与大批量训练的性能差异是什么？
使用小批量随机梯度下降训练深度神经网络相较于大批量训练具有更好的测试性能。
如何解决传统梯度剪裁带来的偏差问题？
通过利用当前全局模型及其在搜索域中的位置的公共信息，可以缓解传统梯度剪裁带来的偏差，提供更好的差异性隐私保证。
