为语音识别启用差分隐私的联邦学习：基准测试、自适应优化器与梯度裁剪
💡
原文英文，约300词，阅读约需2分钟。
📝
内容提要
联邦学习（FL）与差分隐私（DP）在自动语音识别（ASR）中的应用尚待深入。本文通过逐层裁剪和梯度归一化技术，缓解了大模型在FL中面临的梯度异质性问题。实验结果表明，在强隐私保护下，FL与DP在用户规模达到数百万时是可行的，并且在不同规模下的字错误率有所改善。这为大模型的隐私保护FL算法设计提供了指导。
🎯
关键要点
- 联邦学习（FL）和差分隐私（DP）在自动语音识别（ASR）中的应用尚未深入研究。
- 大模型在FL中面临梯度异质性问题，导致标准优化技术难以收敛。
- 本文建立了FL与DP在端到端ASR中的第一个基准。
- 采用逐层裁剪和梯度归一化技术来缓解大模型中的剪切偏差和梯度异质性。
- 实验结果表明，在强隐私保护下，FL与DP在用户规模达到数百万时是可行的。
- 在高人口规模下，字错误率下降1.3%；在低人口规模下，字错误率下降4.6%。
- 研究揭示的梯度异质性和逐层梯度归一化的原则为大模型的隐私保护FL算法设计提供了指导。
➡️
