BriefGPT - AI 论文速递
·
CCFC++：通过特征去相关化增强联邦聚类
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种新的对比学习框架，用于解决联邦学习中的数据异构性挑战。通过分析梯度更新的不一致性和特征表示分布的依赖性，提出了监督式对比学习（SCL）目标来减轻局部偏差。为了防止表示坍缩并增强特征可传递性，引入了放松的对比学习损失。实验结果表明，该框架在标准基准上比现有的联邦学习方法更优。
🎯
关键要点
-
提出了一种新颖的对比学习框架，以应对联邦学习中的数据异构性挑战。
-
分析了本地训练期间客户端之间梯度更新的不一致性，并建立了其与特征表示分布的依赖性。
-
导出了用于减轻局部偏差的监督式对比学习（SCL）目标。
-
简单采用 SCL 会导致表示坍缩，导致收敛缓慢且性能有限。
-
引入了一种放松的对比学习损失，对每个类别中过度相似的样本对施加差异惩罚。
-
这种策略可以防止表示坍缩并增强特征可传递性，促进协作训练。
-
实验结果表明，该框架在标准基准上比所有现有的联邦学习方法都取得了巨大的优势。
➡️
