重审梯度修剪：一种用于抵御梯度攻击的双重实现
内容提要
本文综述联邦学习隐私保护研究，涵盖梯度泄露与反演攻击、本地差分隐私、梯度追踪、数据扰动防御及判别性对抗隐私等方法，并评估其隐私与性能权衡。
延伸解读
梯度泄露攻击的演进与防御挑战
文章梳理了梯度泄露攻击从早期DLG到生成梯度泄露、TGIAs-RO和R-GAP的演进，攻击者能利用梯度信息高质量重建私有数据。防御方面，数据扰动策略可将重构误差提高160倍以上，但攻击与防御的博弈持续升级，读者需关注攻击假设的放宽如何削弱防御效果。
本地差分隐私在联邦学习中的权衡
本地差分隐私通过梯度追踪和预剪枝等技术，在保证严格隐私的同时实现收敛，且累积隐私预算有限。但隐私保护强度与模型性能之间存在权衡，例如DAP方法通过对抗训练平衡性能、速度和隐私，并引入AOP指标量化这种权衡。
隐私保护技术的实用化考量
文章提到多种防御机制在实验中表现良好，但实际部署需考虑计算开销和可扩展性。例如，预剪枝和梯度删除能减少参数空间，提升差分隐私训练的可扩展性；而DAP在保持性能的同时增强隐私。读者应关注不同方法在具体场景下的适用性和性能开销。
Q&A
联邦学习中梯度信息可能导致哪些隐私泄露问题？
梯度信息可能泄露用户隐私，具体包括梯度泄露和梯度反演攻击，攻击者可以利用梯度恢复本地客户端的私有数据。
什么是生成梯度泄露？
生成梯度泄露是一种新型隐私泄露方法，通过梯度信息泄露用户隐私，并利用无梯度优化方法实现高质量图像重建，效果优于梯度优化方法。
本地差分隐私在联邦学习中有哪些应用？
本地差分隐私可用于分布式在线学习，确保严格的本地差分隐私，算法在均方意义下收敛于精确最优解，且累积隐私预算有限；也可用于分散式深度学习，保护协作学习中的数据隐私。
如何防御联邦学习中的梯度反演攻击？
可以通过学习数据扰动来防止模型逆推攻击，实验证明该方法在防御DLG和GS攻击的同时能将数据重构误差提高160倍以上；此外，评估三种防御机制发现适当组合可更有效抵抗攻击。
什么是判别性对抗隐私（DAP）？
DAP是一种新型学习技术，通过对抗训练和新的损失函数（最小化预测误差并最大化MIA误差）来平衡模型性能、速度和隐私，并引入准确性隐私权（AOP）指标捕捉性能-隐私权衡。
梯度追踪在差分隐私中有什么作用？
梯度追踪用于本地差分隐私分布式在线学习，确保严格本地差分隐私，算法收敛于精确最优解，累积隐私预算有限，并在多个基准机器学习应用中表现良好，训练和测试准确性优于现有方法。
