初始化对过参数化神经网络的隐私 - 效用分析
原文中文，约500字，阅读约需2分钟。发表于：。过度参数化和随机化机器学习算法对其训练数据的信息泄露有何影响，通过解析分析我们得出了模型分布间的 KL 散度的隐私界限，并研究其对全连接神经网络的初始化、宽度和深度的依赖性。我们发现，这个 KL...
该研究探讨了过度参数化和随机化机器学习算法对训练数据隐私的影响，并通过分析得出了模型分布间的隐私界限。研究发现，隐私界限很大程度上由训练过程中的模型参数相对于期望梯度范数决定。同时，隐私界限的提高或降低取决于所选的初始化分布。该研究还证明了在固定隐私预算下的过度经验风险界限，并展示了隐私效用权衡与深度之间的相互作用同样受到初始化方式的影响。
