具有极端标签不足的联邦模型的鲁棒训练
内容提要
本文综述半监督联邦学习进展：FedoSSL解决异构未知类偏差；ProtoFSSL用原型网络降低通信成本；FedAnchor以双头结构缓解伪标签偏见；IsoFed分离训练带标签与无标签客户端；FedMatch、RSCFed、SSFL、FedDure分别应对客户端差异、数据异构与分布不同；SSFOD用于自动驾驶目标检测，性能接近全监督集中训练。
延伸解读
方法演进：从解决偏差到降低通信成本
文章梳理了半监督联邦学习的发展脉络。早期工作如FedMatch（2020）和SSFL（2021）关注利用无标签数据提升模型性能，并尝试缩小监督与半监督学习的差距。随后，研究重点转向解决更具体的挑战：FedoSSL（2023）针对开放世界中的未知类偏差，FedAnchor（2024）通过双头结构缓解伪标签偏见，ProtoFSSL（2022）则利用原型网络降低通信成本。这些方法反映了该领域从基础问题向效率与鲁棒性并重的演进趋势。
应用场景：医学图像与自动驾驶的差异化需求
文章提及的方法在医学图像和自动驾驶领域均有验证。IsoFed（2023）在四种模态的医学图像数据集上评估，专门处理带标签与无标签客户端分离的场景；RSCFed（2022）在自然和医学图像基准上表现优于现有方法。SSFOD则针对自动驾驶目标检测，在服务器端仅部分标注、客户端无标注的设定下，性能接近全监督集中训练。这表明半监督联邦学习能适应不同领域对数据隐私和标注成本的差异化需求。
技术趋势：原型网络与双头结构的创新
文章中的多项工作引入了新颖的网络结构或训练策略。ProtoFSSL使用轻量级原型实现客户端间知识共享，显著减少通信和计算开销；FedAnchor设计锚头与服务器分类头配对，并采用基于余弦相似度的对比损失，以减轻伪标签的确认偏见。这些创新表明，半监督联邦学习正从简单的算法组合转向针对联邦场景的定制化设计，以同时应对数据异构、通信效率和标签不足等复合挑战。
Q&A
联邦半监督学习主要解决什么问题？
联邦半监督学习旨在联合利用标记和未标记客户端的数据来学习联邦模型，解决标签不足、数据异构和分布不同等挑战。
FedoSSL 是如何处理未知类偏差的？
FedoSSL 通过使用抑制损失增强聚合效果和校准模块确保知识传递一致，从而解决分布式和开放式环境下异构分布未知类所导致的偏差。
ProtoFSSL 如何降低通信成本？
ProtoFSSL 通过轻量级原型实现客户端之间的知识共享，从而减少通信和计算成本。
FedAnchor 中的双头结构有什么作用？
FedAnchor 引入独特的双头结构（锚头），与仅在服务器上训练的分类头配对，锚头使用基于余弦相似度度量的新设计标签对比损失，通过减轻伪标签技术中的确认偏见和过拟合问题，显著提高模型的收敛速度和准确性。
IsoFed 方案在哪些数据集上进行了评估？
IsoFed 在四种不同模态的医学图像数据集上评估了模型性能，并在不同的实验设置下验证了所提出方法的有效性。
SSFOD 框架在自动驾驶目标检测中的性能如何？
SSFOD 在自动驾驶数据集上验证了其有效性，并表现出与完全监督集中训练方法几乎相当的性能。
