Training Language Models Based on Private Federated Data in the Era of LLMs
内容提要
本文探讨了通过在公共数据上预训练大型语言模型（LLMs）提升差分隐私联合学习（FL）性能的方法。研究表明，利用LLMs生成的合成数据显著提高了用户数据的预测准确性。此外，增强版PE算法（Aug-PE）能够生成具有竞争力的差分隐私合成文本，改善隐私保护下的语言模型应用效果。
延伸解读
合成数据如何弥合公共与私有分布差距
文章指出，直接使用公共数据预训练模型与真实用户数据分布存在差距。通过精心设计LLM提示，对公共数据进行过滤和转换，生成类似真实用户数据分布的新数据，从而在Gboard真实数据上使下一个单词预测准确性提升19.0%和22.8%。这表明合成数据能有效缩小分布差距，但文章也提到进一步减少分布差距是未来研究方向，说明当前方法仍有改进空间。
Aug-PE：差分隐私合成文本的实用化尝试
Aug-PE是PE算法的增强版，通过API访问大型语言模型生成差分隐私合成文本。实验证明其能产生具有竞争性效用的合成文本，为隐私保护的语言模型应用提供了更可访问的路线。这意味着在不需要直接访问私有数据的情况下，也能生成高质量的差分隐私数据，但文章未提及具体隐私预算或效用损失细节，实际部署时需权衡隐私与效用。
从研究到生产：A/B测试验证实际效果
文章提到，在数百万台移动设备上进行差分隐私FL调优时，该方法达到优于或可与基线相媲美的评估准确性，且最终模型在生产A/B测试中优于基线。这表明该方法不仅限于实验环境，已通过大规模真实场景验证。但文章未披露A/B测试的具体指标或持续时间，读者需注意其结论基于特定生产环境，泛化到其他场景仍需评估。
Q&A
如何通过公共数据预训练改善差分隐私联合学习的性能？
通过在公共数据上进行预训练，可以提高差分隐私联合学习的性能，生成的合成数据显著提升用户数据的预测准确性。
LLMs生成的合成数据如何影响用户数据的预测准确性？
利用LLMs生成的合成数据显著提高了用户数据的预测准确性，在Gboard的评估中实现了19.0%和22.8%的改善。
增强版PE算法（Aug-PE）有什么优势？
增强版PE算法（Aug-PE）能够生成具有竞争力的差分隐私合成文本，改善隐私保护下的语言模型应用效果。
如何评估合成数据集上预训练模型的效果？
在Gboard的真实用户数据上评估时，合成数据集上预训练的模型在下一个单词预测准确性方面实现了显著改善。
使用预训练的生成式语言模型有什么好处？
使用预训练的生成式语言模型可以产生差分隐私合成数据集，且合成数据的质量与直接使用差分隐私训练的性能相当。
未来的研究方向是什么？
未来的研究方向包括进一步减少合成数据与真实用户数据分布之间的差距，以提高模型的性能和隐私保护效果。
