私有真正持久稳健预测
内容提要
本文综述差分隐私机器学习研究，涵盖私有永久预测模型（降低样本复杂度并保护训练集与查询隐私）、PEP与GEM隐私合成数据算法、MBPEP边缘Pareto剪枝模型、差分隐私最优样本调整与预测推断算法、选择性分类器的隐私与效能权衡、Lifelong DP及L2DP-ML算法、JDP强化学习策略，以及视觉模型差分隐私训练与Laplace、PATE机制。
延伸解读
永久预测模型如何降低样本复杂度
文章提出的私有永久预测模型，核心是用预测替代假设来回答一系列分类查询，并同时保护训练集和自适应查询的隐私。相比传统私有模型，它降低了样本复杂度，且在PAC模型下对有限VC维的概念类提供通用建设，无论域是有限还是无限。这意味着在需要反复查询的场景中，该模型可能更高效，但文章未给出具体复杂度数值或实验对比。
隐私合成数据与边缘剪枝的实用进展
PEP和GEM是两种隐私合成数据生成算法，文章称其性能优于现有算法。MBPEP则通过深度集成网络和边缘Pareto剪枝，实现高质量不确定性估计，适用于未知分布数据集和多任务问题。这些工作表明，隐私保护不一定牺牲数据效用，但文章未提供具体基准或数据集名称，读者需注意其结论基于特定实验设置。
隐私预算与模型效能的权衡
文章指出，在选择性分类器中引入差分隐私不仅会降低模型效能，而且当隐私预算降低时，需要付出相当大的覆盖成本。这提醒实践者：隐私保护强度与模型可靠性之间存在明确权衡，不能简单假设隐私机制无代价。此外，Lifelong DP和L2DP-ML试图在持续任务流中保持固定隐私预算，但文章未说明其在实际部署中的开销。
视觉模型与强化学习的隐私保护边界
文章介绍了在LAION400M上训练视觉Transformer ViP的差分隐私方法，声称在严格隐私预算下获得可行准确性和质量，但未给出具体准确率或预算值。在强化学习方面，JDP策略仅在探索阶段付出适度隐私代价，并给出样本复杂性和遗憾下界。这些结果说明隐私保护可扩展到大规模视觉和序贯决策任务，但读者应关注其理论保证与实证评估的结合方式。
Q&A
私有永久预测模型主要解决了传统私有模型中的什么问题？
私有永久预测模型主要解决了传统私有模型中样本复杂度高的问题。它通过预测替代假设来回答一系列分类查询，并使用预测修改假设，同时保护训练集和自适应选择的查询的隐私。在PAC模型中，该模型为具有有限VC维的概念类提供了通用建设，无论有限域还是无限域都能有效预测。
PEP和GEM算法是什么？它们有什么优势？
PEP（私有熵投影）和GEM（具有指数机制的生成网络）是两种用于隐私合成数据生成的算法框架。它们表现出比现有算法更好的性能。
MBPEP模型是什么？它适用于哪些场景？
MBPEP是一种基于深度集成网络的边缘Pareto剪枝模型。它采用独特的损失函数使子学习者可用于标准梯度下降学习。实验表明，MBPEP实现了高质量不确定性估计，适用于具有未知分布数据集的实际问题，并且在多任务问题上具有良好的学习性能。
在差分隐私下，选择性分类器的隐私与效能如何权衡？
研究发现，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适。
Lifelong DP和L2DP-ML算法是如何保护训练集隐私的？
Lifelong DP是一种连续隐私定义，L2DP-ML是一种可扩展和异构的算法，用于保护在一个不断增长的任务流中任何数据元组的参与，以保护训练集的隐私。无论任务数量如何，DP隐私预算都有一个固定的值。实现表明，该机制显著优于基线方法，能更好地保护Lifelong DP。
联合差分隐私（JDP）在强化学习中是如何应用的？
在高风险决策领域（如个性化医疗），设计了保护隐私的强化学习策略。采用联合差分隐私（JDP）提供有意义的隐私表述，并开发一种基于乐观主义的隐私保护学习算法，同时实现强PAC和遗憾边界，且享有JDP保证。此算法只在探索方面付出适度的隐私代价。最后，针对JDP强化学习提出了样本复杂性和遗憾的下界。
