基于不确定性的离散异构数据隔离中可扩展代码本的联合学习
内容提要
该文综述联邦学习通信优化与隐私保护进展，涵盖UVeQFed向量量化、CodedFedL、FedCode、CUCL、贝叶斯个性化FL、ULDP-FL、FedUL、Fed-ET及EasyFL低代码平台等方案，分别针对传输瓶颈、异构数据、无监督学习与差分隐私等问题提出改进。
延伸解读
通信优化：从量化到代码本
文章梳理了多种降低联邦学习通信开销的方案。UVeQFed通过向量量化优化模型传输，在最小化失真的同时提升聚合模型准确性；CodedFedL利用随机傅里叶特征将非线性问题转化为分布式线性回归，并给出负载分配的解析解；FedCode则只传输代码本，大幅减少客户端与服务器间的数据交互，且保持与FedAvg相当的模型性能。这些方法从不同角度缓解了传输瓶颈。
异构数据与个性化建模
针对统计异构性，贝叶斯个性化联邦学习（BPFL）量化客户内部及客户间的不确定性和异质性，将隐藏神经表示分解为共享和本地组件，并联合学习共享与个性化的不确定性表示。Fed-ET采用加权一致性蒸馏，利用高度异构数据提取可靠共识，并通过集成多样性改善泛化，在图像和语言任务中表现优于其他先进算法，且对高数据异构性具有强健性。
无监督与差分隐私进展
在无监督场景下，CUCL通过注入多样性并处理灾难性遗忘来提升连续学习性能；FedUL则共享客户未标记数据的条件分布，移动类先验概率，将未标记数据转换为替代标记数据，从而兼容多种监督联邦学习方法。隐私方面，ULDP-FL通过每个用户的加权裁剪直接保证用户级差分隐私，在跨域联邦学习中有效提供用户级隐私，并在隐私-效用权衡上相比基线方法有显著改进。
系统效率与低代码工具
为提升训练效率，嵌套联邦学习（NeFL）通过深度和宽度缩放将模型划分为子模型，解决迟滞者对训练时间和性能的影响，并将模型解释为求解常微分方程（ODEs），通过解耦少量参数解决训练多个不同架构子模型时的不一致性。EasyFL作为低代码平台，提供模拟、全面跟踪、分布式训练优化和无缝部署等功能，模块化设计和简单API有助于加速实验与部署，提高研究人员生产力。
Q&A
联邦学习中模型传输的瓶颈问题有哪些解决方案？
文章提到UVeQFed通过向量量化方案优化量化方法，实现去中心化训练系统，在保证模型传输最小化失真的同时提高聚合模型的准确性；FedCode通过只传输代码簿来有效减少客户端与服务器之间的数据交互，同时保持与FedAvg相当的模型性能。
如何处理联邦学习中的异构数据问题？
文章提到BPFL通过统计上异质的客户数据来量化客户内部及客户间的不确定性和异质性，并将隐藏的神经表示分解成共享和本地组件，联合学习共享和个性化的不确定性表示；Fed-ET采用加权一致性蒸馏方案，利用各服务器的高度异构数据提取可靠的共识，同时利用合奏中的多样性改善泛化能力，对于高数据异构性也是强健的。
联邦学习如何实现用户级差分隐私？
文章提出ULDP-FL框架，通过每个用户的加权剪裁直接保证用户级差分隐私，在通用的跨域联邦学习中有效地提供了用户级差分隐私，并在隐私-效用权衡方面相比基线方法有了显著的改进。
无监督联邦学习有哪些方法？
文章介绍了FedUL模型，通过共享客户拥有的未标记数据的条件分布，移动类先验概率，并将客户拥有的未标记数据转换为每个客户的替代标记数据，从而在联邦学习中实现模型的共享。FedUL是通用的未监督联邦学习解决方案，可兼容许多监督FL方法。
EasyFL平台是什么？它有什么特点？
EasyFL是一个低代码平台，用于支持联邦学习方法。它易于使用，具有模块化设计和简单的API，可用于加速实验和部署。EasyFL提供了多个功能，如模拟、全面跟踪、分布式培训优化和无缝部署，从而使联邦学习方法被更广泛地使用，并帮助提高研究人员的生产力。
嵌套联邦学习（NeFL）如何解决迟滞者问题？
NeFL是一种通用的框架，通过深层次和宽度缩放有效地将模型划分为子模型，解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程（ODEs）的方式，并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。实验证明NeFL可以显著提高性能。
