私隐差分深度学习的高效可扩展训练
原文中文,约300字,阅读约需1分钟。发表于: 。差分隐私随机梯度下降(DP-SGD)是在差分隐私下训练机器学习模型的标准算法,其主要缺点是效用下降和显著的计算成本,我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本,并对旨在降低成本的方法进行了基准测试,其中包括更高效的 DP-SGD 实现和使用低精度进行训练,最后我们还研究了使用多达 80 个 GPU 的扩展行为。
差分隐私随机梯度下降(DP-SGD)是训练机器学习模型的标准算法,但效用下降和计算成本高。研究量化了差分隐私下训练深度学习模型的计算成本,并测试了降低成本的方法,包括更高效的DP-SGD实现和低精度训练。还研究了使用多个GPU的扩展行为。