CCFC++：通过特征去相关化增强联邦聚类
内容提要
该文综述联邦聚类学习进展，提出集群对比联邦聚类（CCFC）、FCCL+、FedDecorr、FCCA、StoCFL等方法，通过对比学习、聚类与分布对齐缓解数据异构和维度崩溃，提升聚类与全局模型性能，并探讨数据异质性的影响。
延伸解读
联邦聚类方法演进脉络
文章梳理了从2022年到2024年联邦聚类领域的一系列方法，包括FedDecorr、FCCL+、FCCA、StoCFL和CCFC等。这些方法分别从对比学习、特征去相关、分布对齐等角度切入，反映出该领域正从单一解决数据异构，转向同时关注维度崩溃、模型异质性和灾难性遗忘等复合问题。读者可借此把握技术迭代的侧重点变化。
对比学习在联邦聚类中的双刃剑效应
文中指出，简单采用监督式对比学习（SCL）会导致表示坍缩，反而拖慢收敛并限制性能。为此提出的放松对比损失，通过对同类中过度相似的样本对施加差异惩罚来防止坍缩。这一发现提醒读者，对比学习虽能缓解数据异构，但需谨慎设计损失函数，否则可能适得其反。
数据异质性的再审视
文章提到一项研究，发现许多联邦学习方法并未深入探讨不同类型的数据异质性如何影响参与客户端的准确性，并且在该研究设置下，数据异质性不一定是问题，反而可能对参与者有益。这提示读者，异质性并非总是负面因素，其影响取决于具体场景和度量方式，需避免一概而论。
Q&A
CCFC方法是什么？它有什么主要优势？
CCFC是一种新的联邦聚类方法，全称为集群对比联邦聚类。它通过使用集群对比模型来学习友好的聚类表示，其聚类性能在某些情况下是最佳基准方法的两倍，并且在处理设备故障方面也显示出卓越的性能。
FedDecorr如何解决联邦学习中的数据异构性问题？
FedDecorr通过鼓励表示的不同维度不相关，有效缓解了联邦学习中数据异构性造成的维度崩溃问题，并在标准基准数据集上比基线方法表现更好。
FCCA算法是如何工作的？它的效果如何？
FCCA是一种联邦cINN聚类算法，通过将客户端的私有数据转换为多元高斯分布，学习编码的潜在特征，以达到客户端聚类和改善全局模型性能的目的。实验结果表明，FCCA在各种模型和数据集上的性能优于其他最先进的集群联邦学习算法。
在联邦学习中简单采用监督式对比学习会导致什么问题？如何解决？
在联邦学习中简单采用监督式对比学习（SCL）会导致表示坍缩，导致收敛缓慢且性能有限。为了解决这个问题，引入了一种放松的对比学习损失，对每个类别中过度相似的样本对施加差异惩罚，从而防止表示坍缩并增强特征可传递性。
StoCFL联邦聚类方法有什么特点？
StoCFL是一种针对非独立同分布问题的新型聚类联邦学习方法，它实现了一种灵活的CFL框架，支持不同比例的客户端参与和新客户端加入，而且在保持模型性能的同时获得了良好的聚类结果。
数据异质性对联邦学习一定有害吗？
不一定。研究发现，许多之前的联邦学习方法并没有深入探讨不同类型的数据异质性以及这些异质性如何影响参与客户端的准确性表现。当前设置中的数据异质性不一定是问题，事实上，它对FL参与者有益。
