初始化对过参数化神经网络的隐私 - 效用分析

过度参数化和随机化机器学习算法对其训练数据的信息泄露有何影响，通过解析分析我们得出了模型分布间的 KL 散度的隐私界限，并研究其对全连接神经网络的初始化、宽度和深度的依赖性。我们发现，这个 KL 隐私界限很大程度上由训练过程中的模型参数相对于期望梯度范数决定。我们的分析表明，对于线性化网络的特殊设定，梯度范数（从而隐私损失的升级）直接与初始化分布的每层方差相关联。利用这一分析，我们证明了在特定初始化（LeCun 和 Xavier）下随着深度的增加，隐私界限提高，而在其他初始化（He 和 NTK）下随深度的增加，隐私界限降低。我们的工作揭示了隐私与深度之间的复杂相互作用，这取决于所选的初始化分布。我们进一步证明了在固定 KL 隐私预算下的过度经验风险界限，并展示了隐私效用权衡与深度之间的相互作用同样受到初始化方式的影响。