初始化对过参数化神经网络的隐私 - 效用分析

该研究探讨了过度参数化和随机化机器学习算法对训练数据隐私的影响，并通过分析得出了模型分布间的隐私界限。研究发现，隐私界限很大程度上由训练过程中的模型参数相对于期望梯度范数决定。同时，隐私界限的提高或降低取决于所选的初始化分布。该研究还证明了在固定隐私预算下的过度经验风险界限，并展示了隐私效用权衡与深度之间的相互作用同样受到初始化方式的影响。