Apple Machine Learning Research
·
结合差分隐私的端到端语音识别联邦学习
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本文介绍了将差分隐私应用于联邦学习的自动语音识别任务的新方法。作者通过模型设计和数据异质性等因素的探索，建立了FL with DP的ASR基准，并成功对抗了差分隐私噪声对模型训练的不利影响。在用户级别上，他们实现了（7.2，10^-9）-DP和（4.5，10^-9）-DP，并在ASR中取得了较低的词错误率。
🎯
关键要点
- 联邦学习（FL）在自动语音识别（ASR）领域的应用仍处于初步探索阶段。
- FL本身不保证用户隐私，需要使用差分隐私（DP）来提供强有力的隐私保障。
- 本文旨在填补将DP应用于FL的ASR研究空白，建立FL with DP的ASR基准。
- 研究扩展了FL在ASR中的应用，探索了架构设计、种子模型、数据异质性、领域转移和群体规模的影响。
- 通过合理的中心聚合数量，即使在异构数据下也能训练出几乎最优的FL模型。
- 将DP应用于FL的ASR中并不简单，因为DP噪声会严重影响模型训练，尤其是大型变换器模型。
- 通过恢复每层剪裁来对抗DP噪声的不利影响，并解释其在本研究中的显著性。
- 在ASR中实现了用户级别的（7.2，10^-9）-DP和（4.5，10^-9）-DP，词错误率分别下降了1.3%和4.6%。
➡️
