关于半敏感特征的凸优化
内容提要
本文研究了差分隐私下的经验风险最小化问题，提出了一种新算法以降低梯度复杂度，并扩展至非凸函数。实证评估表明，该算法在效用上优于传统方法，适用于多种函数类型，提供了有效的隐私保护解决方案。
延伸解读
半敏感特征：差分隐私的新设定
文章在数字广告场景中引入半敏感特征概念：攻击者已知部分特征，其余特征和标签需差分隐私保护。该设定介于完全DP（保护所有特征和标签）和标签DP（仅保护标签）之间，更贴合实际中部分特征公开的情况。新算法针对此设定训练DP模型，并在真实广告数据集上验证了效用优势。
从凸到非凸：理论扩展与更紧上界
算法从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸函数，并给出比传统算法更紧的上界。这意味着在非凸优化中，该方法仍能提供理论保证，且梯度复杂度更低。对于需要处理复杂模型的隐私机器学习任务，这一扩展提升了算法的适用性。
实证优势：超越DP-SGD与标签DP基线
在真实广告数据集上的评估表明，新算法在效用上优于两个基线：在所有特征上运行的DP-SGD，以及仅在已知特征上运行的标签DP算法。这说明利用半敏感特征信息能有效提升隐私保护下的模型性能，为实际部署提供了参考。
Q&A
什么是差分隐私下的经验风险最小化问题？
差分隐私下的经验风险最小化问题是指在保护用户隐私的前提下，通过最小化模型的经验风险来训练机器学习模型。
新算法如何降低梯度复杂度？
新算法通过从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸函数，提供了比传统算法更紧的上界，从而降低了梯度复杂度。
该算法在效用上与传统方法相比如何？
通过实证评估，证明该算法在效用上优于传统的DP-SGD基线和标签DP算法。
新算法适用于哪些类型的函数？
该算法适用于多种函数类型，包括凸损失函数和满足Polyak-Lojasiewicz条件的非凸函数。
半敏感特征在差分隐私中有什么作用？
半敏感特征用于训练差分隐私机器学习模型，其中攻击者已知部分特征，而其余特征和标签需要受到保护。
该研究的主要贡献是什么？
该研究提出了一种新算法，降低了梯度复杂度，并在多种函数类型下提供了有效的隐私保护解决方案。
