松弛对比学习用于联合学习

BriefGPT - AI 论文速递 · 2024-01-10T00:00:00Z

本文提出了一种新的对比学习框架，用于解决联邦学习中的数据异构性挑战。该框架通过分析客户端之间梯度更新的不一致性，并建立其与特征表示分布的依赖性，提出了监督式对比学习（SCL）目标来减轻局部偏差。为了防止表示坍缩并增强特征可传递性，引入了放松的对比学习损失，对过度相似的样本对施加差异惩罚。实验结果表明，该框架在标准基准上比现有的联邦学习方法更具优势。