LMO-DP: 为巨型语言模型优化差分隐私微调的随机化机制
原文中文，约400字，阅读约需1分钟。发表于：。通过提出一种新的基于语言模型的最优差分隐私（LMO-DP）机制，我们可以在强隐私环境下使用亚优差分隐私机制来准确微调大规模语言模型，并提出了一种离线最优噪声搜索方法来降低噪声幅度。通过大大优于高斯机制的性能，在 SST-2 数据集上，对具有 300M 参数的 RoBERTa-large 进行微调可以实现 92.20% 的准确率（给定 ε=0.3，δ=10^-10），类似的结果也在...
本研究整合了差分隐私和自然语言处理中的混合专家模型训练，通过大规模语言模型解决了计算和隐私问题。实验结果表明，差分隐私有效训练了混合专家模型，并具有竞争力的性能。该研究为隐私保护的混合专家模型领域提供了洞察力和基础。
