BriefGPT - AI 论文速递
·
非凸复合损失函数中循环采样的差分隐私随机梯度下降的最后迭代的隐私保护
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种新的Rényi差分隐私（RDP）界限，适用于最常用的DP-SGD变体。该界限不需要假设凸性、平滑性或Lipschitz连续性的损失函数，并且适用于步长相对较小且损失函数是弱凸的情况。此外，当目标函数的弱凸参数趋近于零时，界限趋于以前建立的凸界限。对于非Lipschitz平滑的损失函数，提供了一种随着DP-SGD迭代次数的扩展良好的界限。
🎯
关键要点
-
提出了一种新的Rényi差分隐私（RDP）界限，适用于DP-SGD变体。
-
该界限不需要假设损失函数的凸性、平滑性或Lipschitz连续性。
-
适用于步长相对较小且损失函数是弱凸的情况。
-
当目标函数的弱凸参数趋近于零时，界限趋于以前建立的凸界限。
-
对于非Lipschitz平滑的损失函数，提供了一种随着DP-SGD迭代次数的扩展良好的界限。
➡️
