LW-FedSSL：资源高效的逐层联邦自监督学习
内容提要
该文综述联邦学习与自监督学习结合的多项研究：ProtoFSSL用原型网络降低通信与计算成本；Fed-QSSL以低位量化应对异构性；FedEMA用全局模型EMA自适应更新本地模型；FedoSSL解决开放环境下未知类分布偏差；SSFL提出Per-SSFL等算法并构建分布式训练系统；L-DAWA按层角度差异聚合以缓解客户端偏差；另有工作用相似度蒸馏实现联邦表示学习；FlexSSL通过半合作博弈充分利用标注与未标注数据。
延伸解读
联邦自监督学习的资源优化路径
文章列举的ProtoFSSL、Fed-QSSL和SSFL等工作，分别从原型共享、低位量化和系统构建角度降低通信与计算开销。ProtoFSSL用轻量级原型减少客户端间传输量；Fed-QSSL通过量化与解量化适配异构设备；SSFL则开发分布式训练系统并验证监督与自监督性能差距较小。这些方案表明，资源效率是联邦自监督学习落地的重要考量。
应对数据异构与开放环境的策略
FedEMA、FedoSSL和L-DAWA聚焦于非独立同分布和开放环境带来的偏差问题。FedEMA用全局模型EMA自适应更新本地模型，在线性评估上比现有方法高3-4%；FedoSSL通过抑制损失和校准模块处理未知类分布偏差；L-DAWA在聚合时考虑客户端模型与全局模型的角度差异。这些方法共同说明，聚合策略和本地更新机制是缓解异构影响的关键。
半监督与表示学习的互补设计
FlexSSL通过半合作博弈充分利用标注与未标注数据，并理论推导其与噪声标签损失重加权的联系；另一项工作则利用相似度蒸馏训练全局模型，在通信和隐私限制下实现可比较的联邦表示学习性能。两者分别从数据利用和表示学习角度补充了联邦自监督框架，显示不同技术路线可针对具体约束灵活组合。
Q&A
联邦自监督学习如何降低通信和计算成本？
ProtoFSSL 通过轻量级原型实现客户端之间的知识共享，从而减少通信和计算成本，并在多个数据集上实现了更高的准确性。
联邦学习系统中如何处理客户端异质性？
Fed-QSSL 使用分布式自监督学习和低位量化，通过解量化、加权聚合和重新量化在客户端设备上创建个性化模型，以解决联邦学习系统中的异质性问题。
FedEMA 如何解决分散数据的非独立同分布问题？
FedEMA 使用全局模型的 EMA 来自适应地更新客户端的本地模型，并采用动态度量模型发散的衰减速率，在线性评估上的性能比现有方法高 3-4％。
FedoSSL 框架解决了什么挑战？
FedoSSL 框架解决了分布式和开放式环境下训练过程中异构分布未知类所导致的偏差，通过使用抑制损失增强聚合效果和校准模块确保知识传递一致。
SSFL 框架提出了哪些算法和系统？
SSFL 框架提出了 Per-SSFL、FedAvg 和 SimSiam 等算法，并开发了一个分布式训练系统和相关评估协议，发现监督和非监督学习之间的性能差距小。
L-DAWA 聚合策略是如何工作的？
L-DAWA 在聚合时考虑客户端模型和全局模型之间的角度差异，缓解了联邦学习聚合时客户端偏差和差异带来的影响，在多个数据集上验证了其有效性。
FlexSSL 如何利用标注和未标注数据？
FlexSSL 通过构建一个半合作的“游戏”来解决半监督学习中标签可观察性的辨别问题，从而充分利用标注和未标注数据，并理论推导证明了它与噪声标签上的损失重新加权的联系。
