基于隐藏状态假设的差分隐私神经网络训练

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

我们提出了一种名为差分隐私随机块坐标下降(DP-SBCD)的新方法,用于训练神经网络并在隐藏状态假设下提供可证明的差分隐私保证。该方法将差分隐私在隐藏状态假设下的分析扩展到包括非凸问题和采用近端梯度下降算法的情况。此外,通过利用自适应分布中采样的校准噪声,产生了在效用和隐私之间改进的经验权衡。

🎯

关键要点

  • 提出了一种名为差分隐私随机块坐标下降(DP-SBCD)的方法。
  • 该方法用于训练神经网络,并在隐藏状态假设下提供可证明的差分隐私保证。
  • 将Lipschitz神经网络纳入分析,并将训练过程分解为特定层的子问题。
  • 扩展了差分隐私在隐藏状态假设下的分析,包括非凸问题和近端梯度下降算法的情况。
  • 采用自适应分布中采样的校准噪声,改善效用和隐私之间的经验权衡。
➡️

继续阅读