私隐差分深度学习的高效可扩展训练

BriefGPT - AI 论文速递 · 2024-06-25T00:00:00Z

差分隐私随机梯度下降（DP-SGD）是训练机器学习模型的标准算法，但效用下降和计算成本高。研究量化了差分隐私下训练深度学习模型的计算成本，并测试了降低成本的方法，包括更高效的DP-SGD实现和低精度训练。还研究了使用多个GPU的扩展行为。