选择泄露隐私的机制：重新审视私密选择和超参数调整的改进结果
内容提要
本文综述差分隐私机器学习中的超参数优化与隐私泄漏问题，涵盖DP-SGD多次调参的隐私损耗、Renyi差分隐私核算、DP-HyPO框架、自适应裁剪、大批量训练、隐私特征选择及隐私覆盖度指标等方法，旨在提升隐私保护下的模型效用与实用性。
延伸解读
多次调参的隐私代价可控
文章指出，使用DP-SGD等差分隐私算法进行多次训练以微调超参数时，确实会产生隐私泄漏。但基于Renyi差分隐私的核算表明，只要每次候选训练运行本身满足差分隐私，总体泄漏就是适度的。这意味着实践者不必因调参而过度担忧隐私预算的快速耗尽，但仍需确保每次运行都严格遵循差分隐私机制。
提升实用性的三种工具
针对差分隐私学习在实际数据中的挑战，文章提出了三种工具：训练前可集中进行的简单健全性检查、自适应裁剪边界以减少可调隐私参数的有效数量、以及大批量训练以提高模型性能。这些工具旨在让差分隐私机器学习更实用，帮助解释隐私保证并降低超参数调整对隐私预算的消耗。
隐私特征选择增强即插即用
文章介绍了一种基于Kendall秩相关的差分隐私特征选择方法，扩展了隐私线性回归算法的适用性。在25个数据集上的实验表明，在回归前加入该私有特征选择步骤，能显著提高“即插即用”隐私线性回归算法的适用性，同时几乎不增加终端用户的隐私、计算或决策成本。
隐私覆盖度：新指标与epsilon选择
文章研究了衡量DP机制对模型隐私保护能力的新指标——隐私覆盖度，并提出了使用该指标对训练集中样本的隐私进行排名的方法。进而，利用观察到的邻域分布的不可区分性转换来选择epsilon值。这为在实践中更精细地评估和调整隐私保护水平提供了新思路。
Q&A
差分隐私机器学习中，多次调参为什么会导致隐私泄漏？
因为每次使用私有数据训练来微调超参数都会消耗隐私预算，多次运行会累积隐私损失。但研究表明，只要每次候选训练运行本身满足差分隐私，泄漏就是适度的。
DP-HyPO框架是什么？它有什么作用？
DP-HyPO是一种桥接私人和非私人超参数优化方法的里程碑式框架，提供了具有全面差分隐私分析的高效性，用于在差分隐私机器学习中进行超参数优化。
如何让差分隐私机器学习更实用？有哪些工具？
文章提出了三种工具：1）可在训练前以集中方式进行的简单健全性检查；2）自适应裁剪边界来减少可调隐私参数的有效数量；3）大批量训练可以提高模型性能。
在差分隐私下进行特征选择有什么方法？效果如何？
提出了一种基于Kendall秩相关的差分隐私特征选择方法，扩展了不同隐私线性回归算法的适用性，并证明了在特征正态分布时的效用保证。在25个数据集上实验表明，添加此私有特征选择步骤显著提高了“即插即用”隐私线性回归算法的适用性，且几乎不增加隐私、计算或决策成本。
什么是隐私覆盖度指标？它有什么用途？
隐私覆盖度是衡量数据集上DP机制对模型隐私保护能力的新指标。它可用于排名训练集中样本的隐私，并通过观察到的邻域分布的不可区分性转换来选择epsilon值。
Renyi差分隐私在超参数搜索中如何应用？
基于Renyi差分隐私的超参数搜索方法用于限制ReportNoisyMax和PrivateTuning的隐私特性，并在端到端隐私学习实验中取得显著改进。分析还指出在特定领域中使用二项分布随机化回合数可获得更大改进。
