联合选择：自适应地整合公共信息与私密合成数据
内容提要
本文探讨了生成式语言模型在生成差分隐私数据集中的应用，强调通过私有调优提升合成数据质量。研究提出了基于隐私保护的分阶段生成模型（P3GM），有效解决高维数据的隐私合成问题，并提出了私有熵投影（PEP）和生成对抗网络（GANs）等算法，以增强数据生成的隐私保护和准确性。
延伸解读
公共数据如何提升隐私合成质量
文章指出，利用大规模公共数据可以改善差分隐私机器学习中的隐私-准确性权衡。其核心假设是公共数据分布的支持包含私人数据的支持，例如公共数据来自通用互联网图像源，而私人数据为特定类型图像。基于此，方法在生成对抗网络中利用公共数据，在FID等指标上达到SOTA，并能以差分隐私方式生成高质量图像。这提示读者，当公共数据与私有数据分布存在包含关系时，引入公共数据是提升合成质量的有效途径。
P3GM：分阶段处理高维隐私合成
针对高维数据的隐私保护合成难题，文章介绍了基于隐私保护的分阶段生成模型（P3GM）。它通过分阶段学习过程，更好地处理高维数据的隐私合成，并在数据挖掘的合成数据任务中表现出更高准确性。与一次性生成相比，分阶段策略可能逐步捕捉数据分布，从而在有限隐私预算下提升可用性。读者可关注其分阶段设计如何平衡隐私与效用，以及是否适用于自身的高维数据场景。
算法演进：从PEP到GEM的隐私生成
文章提及私有熵投影（PEP）和具有指数机制的生成网络（GEM）两种算法，它们比现有算法表现更好。PEP和GEM旨在隐私合成数据生成的算法框架下，增强隐私保护和准确性。此外，table-GAN利用生成对抗网络合成伪造表格，在隐私和模型兼容性之间取得平衡，并解决数据泄露问题。这些工作反映了隐私合成数据领域在算法层面的持续探索，读者可对比不同算法在隐私预算、数据模态和下游任务上的适用性。
Q&A
什么是基于隐私保护的分阶段生成模型（P3GM）？
P3GM是一种通过分阶段学习过程来处理高维数据隐私合成问题的模型，能够提高合成数据的准确性。
如何通过生成式语言模型提升合成数据的质量？
通过在敏感数据上进行私有调优，生成式语言模型可以生成差分隐私数据集，从而提升合成数据的质量。
私有熵投影（PEP）和生成对抗网络（GANs）有什么作用？
PEP和GANs是用于增强数据生成隐私保护和准确性的算法，能够有效解决数据泄露问题。
使用公共数据对差分隐私机器学习有什么影响？
使用公共数据可以改善差分隐私机器学习中的隐私准确性权衡，提升生成对抗网络中的图像生成质量。
深度生成模型如何在不泄露敏感数据的情况下进行训练？
深度生成模型通过独立的特征函数和对抗重新加权目标实现数据生成和训练，确保敏感数据不被泄露。
研究中提出的合成数据生成方法有哪些优势？
该研究提出的方法在限定隐私预算下优于现有方法，是私人合成数据共享的首选，且能保持高准确性。
