分布式学习中的隐私攻击
内容提要
本文综述协作与联邦学习中的梯度隐私攻防，提出兼顾隐私、效用与通信效率的双梯度修剪防御，并介绍可微图攻击、递归梯度攻击、SAPAG等攻击方法，以及隐私保护求和、DGREC推荐等防御，表明梯度裁剪是有效策略。
延伸解读
梯度裁剪：攻防博弈中的关键防线
文章指出，梯度裁剪是针对最先进攻击的最有效策略。这提示我们，在分布式学习中，简单的梯度裁剪操作可能成为平衡隐私与效用的重要手段。但裁剪阈值的选择需要谨慎，过强可能损害模型效用，过弱则防御不足。
攻击效率的显著提升：DGA与R-GAP
DGA将训练时间减少6倍、GPU内存减少11倍，R-GAP以较小计算量达到同等隐私保护。这些进展意味着攻击者能以更低成本发起攻击，防御方面临更大挑战。同时，高效攻击也有助于评估现有防御的鲁棒性。
隐私保护求和与去重构攻击的拓扑视角
在无环网络中，隐私保护求和无法重构隐私数据，但基于拓扑结构的去重构攻击提供了新思路。这表明网络拓扑对隐私保护有重要影响，设计分布式学习系统时需考虑拓扑结构的安全性。
DGP防御：兼顾隐私、效用与通信效率
双梯度修剪（DGP）基于梯度修剪，旨在同时提升通信效率并保护隐私和效用。实验证明其能抵御最强梯度反演攻击，且不牺牲模型效用。这为协作学习提供了一种实用的防御方案，但实际部署时需考虑其适用场景。
Q&A
协作学习中的梯度反演攻击是什么？
梯度反演攻击是一种隐私威胁，攻击者通过共享的梯度更新反推出用户的原始训练数据，从而破坏协作学习的隐私保护。
双梯度修剪（DGP）防御方法有什么优势？
DGP基于梯度修剪，能提高通信效率，同时保护协作学习的效用和隐私，实验证明它能有效抵御最强大的梯度反演攻击，且不牺牲模型效用。
Differentiable Graph Attack（DGA）攻击方法有什么特点？
DGA通过对图结构进行连续松弛和参数化，高效生成有效攻击，无需昂贵重训练，与最新技术相比，攻击性能几乎相等，训练时间减少6倍，GPU内存占用减少11倍。
递归梯度攻击（R-GAP）能实现什么？
R-GAP能从梯度中恢复原始数据并评估网络结构的安全性，实验表明它能在一定条件下以较小计算量实现与优化方法同等甚至更好的隐私保护。
SAPAG攻击方法解决了什么问题？
SAPAG是一种基于高斯核的梯度隐私攻击方法，它能构建出不同深度神经网络、带不同权重初始化、处于任意训练阶段的数据集，从而解决了现有模型易被攻击的问题。
在联邦学习中，哪种策略被证明对抵御最先进攻击最有效？
梯度剪裁被证明是针对最先进攻击的最有效策略，尤其能抵御强力重构攻击。
