本文探讨了一种在k个步骤中随机均匀使用用户数据的采样方案，该方案在差分隐私优化和高维私有聚合中表现出优于标准泊松采样的效用。研究表明，随机分配的隐私损失分布可以高效计算，并且在训练DP-SGD时，其隐私效用权衡至少与泊松子采样相当。此外，本文开发了新的隐私损失核算工具，扩展了对子采样的准确核算。

本文介绍了三种保护用户数据的实用方法，适用于机器学习管道，以防止在训练和推理过程中泄露敏感数据。这些方法包括K-匿名性、合成数据和差分隐私，需结合使用以确保用户隐私。

联邦学习（FL）与差分隐私（DP）在自动语音识别（ASR）中的应用尚待深入。本文通过逐层裁剪和梯度归一化技术，缓解了大模型在FL中面临的梯度异质性问题。实验结果表明，在强隐私保护下，FL与DP在用户规模达到数百万时是可行的，并且在不同规模下的字错误率有所改善。这为大模型的隐私保护FL算法设计提供了指导。

VaultGemma是谷歌基于Gemma 2训练的1B参数LLM，采用差分隐私技术以防止模型记忆训练数据。尽管仍为研究模型，但可应用于医疗、金融和法律等领域。差分隐私通过向训练数据注入噪声来保护个体信息。谷歌研究者探索了在保证隐私的同时优化模型性能的训练配置。VaultGemma在多个基准测试中表现与GPT-2相当，是目前最大的差分隐私LLM。

本文研究了在给定独立同分布样本的情况下，如何估计未知离散分布，重点在于最小化真实分布与算法估计之间的KL散度。我们提出了实例最优的算法，能够在有无差分隐私约束的情况下实现最优性能，并利用Good-Turing估计器的变体建立上界。

我们设计了一种新的差分隐私算法，解决了对抗性赌博机和专家建议赌博机的问题。在对抗性赌博机中，我们将非隐私算法转化为隐私算法，并改进了遗憾上界。在专家建议赌博机中，我们首次提出了差分隐私算法，提供了多种遗憾上界，实现了不同情况下的亚线性遗憾。

我们设计了不同ially私有算法来解决动态遗憾下的专家建议预测问题。针对三种对手类型，提出了次线性遗憾的算法。特别是在随机对手情况下，提出了一个ε-差分隐私算法，其期望动态遗憾为O(S T log(N T) + S log(N T) / ε)。对于无知对手，动态遗憾的最小化可转化为静态遗憾的最小化，并得出期望动态遗憾的上界。此外，我们证明了无知对手与自适应对手之间的基本区别。

边缘AI通过在设备上直接部署AI模型，实现实时数据处理和隐私保护。联邦学习作为去中心化的机器学习方法，允许设备本地训练模型，确保数据安全。尽管面临可扩展性和安全性挑战，联邦学习利用差分隐私等技术降低数据泄露风险，适用于医疗、自动驾驶和智能制造等领域，推动边缘AI的发展。

本文研究了针对非光滑和非凸的随机及经验目标的差分隐私优化算法，提出了一种改进的样本复杂度方法，能够返回Goldstein平稳点。我们设计了一种单遍（ϵ, δ）差分隐私算法，其样本复杂度显著低于现有算法，并进一步提出了多遍多项式时间算法，以进一步降低样本复杂度。

苹果公司重视用户隐私，采用差分隐私等技术分析设备数据，确保不收集个人信息。通过合成数据生成，苹果在不获取用户内容的情况下改善智能功能，如Genmoji和文本生成。这些方法帮助苹果理解整体趋势，同时保护用户隐私。

在差分隐私约束下，一阶驻点（FOSP）和二阶驻点（SOSP）之间存在差距。Ganesh等（2023）提出的方法在鞍点逃逸程序上存在问题。我们基于SpiderBoost算法，提出了一种新方法，结合自适应批量大小和二叉树机制，改进了SOSP的私密查找，达到了更优的界限，表明私密查找SOSP可能没有额外成本。