松弛对比学习用于联合学习
内容提要
该文综述联邦表示学习研究，通过融合预训练模型表示、原型对比学习、相似度蒸馏和在线知识蒸馏等方法，在保护隐私和降低通信成本的前提下实现客户端协同学习。FedPCL、MOON、FedCollab、CreamFL等框架可缓解数据异构与灾难性遗忘问题，支持多模态和个性化学习，在图像分类、检索等任务上优于传统联邦学习。
延伸解读
联邦表示学习的核心思路
文章指出，联邦表示学习不要求客户端从头训练大模型，而是融合多个预训练模型生成的表示进行协同学习。FedPCL以原型作为共享信息传递知识，在保护隐私和保持通信效率的同时，提升客户端利用现有模型的能力。这为通信受限场景提供了一条可行路径。
应对数据异构与遗忘的多种方案
针对数据异构和灾难性遗忘，文章介绍了多种方法：MOON在模型层面做对比学习，利用表示相似性纠正个体训练；FCCL+通过非目标蒸馏和公共未标记数据对齐实例相似度分布；FedIIC用类内与类间对比校准特征提取器。这些方案从不同角度缓解了联邦学习中的偏差问题。
多模态与个性化学习的扩展
CreamFL支持客户端使用异构模型结构和数据模态，通过公共数据集交流知识，并设计模态间与模态内对比策略规范本地训练。另一项工作则学习共享表示和每个客户独特的本地头，在异构数据上优于部分个性化联邦学习方法。这表明联邦表示学习可扩展到多模态和个性化场景。
实验表现与适用边界
文章汇总的实验显示，上述框架在图像分类、图像-文本检索和视觉问答等任务上优于传统联邦学习或对比方案。但需注意，这些结论基于各文献报告的数据集和设置，实际部署时仍需考虑通信成本、隐私保护强度与数据异构程度的具体约束。
Q&A
联邦表示学习如何在保护隐私的同时降低通信成本？
联邦表示学习通过融合多个预训练模型生成的表示，而不是从头训练大规模模型，并利用原型对比学习（如FedPCL）以原型作为共享信息进行知识传递，从而在保护隐私和降低通信成本的前提下实现客户端协同学习。
FedPCL方法是怎么工作的？
FedPCL是一种基于原型的对比学习方法，它以原型作为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。
MOON框架如何提升联邦学习的性能？
MOON通过利用模型表示之间的相似性来纠正个体训练，即在模型层面上进行对比学习，实验表明其在各种图像分类任务中明显优于其他联邦学习算法。
联邦学习中数据异构和灾难性遗忘问题有哪些解决方案？
FedPCL、MOON、FedCollab、CreamFL等框架可以缓解数据异构与灾难性遗忘问题。例如，FedCollab通过基于数据分布距离和数据数量对客户端进行聚类来减轻负面转移；FCCL+通过非目标蒸馏利用未标记公共数据构建交叉相关矩阵并对齐实例相似度分布，以解决模型异质性和灾难性遗忘。
CreamFL支持多模态联邦学习吗？它有什么特点？
CreamFL是一个支持多模态联邦学习的框架，允许客户侧使用异构模型结构和数据模态，提高全局模型的复杂度和数据容量。它使用公共数据集进行知识交流，设计全局本地交叉模态集成策略来聚合客户端表示，并提出两种模态间和模态内对比的策略来规范本地训练以达到全局共识性。在图像-文本检索和视觉问答任务上优于目前流行的联邦学习方法。
联邦表示学习在图像分类和检索任务上的表现如何？
联邦表示学习在图像分类和检索等任务上优于传统联邦学习。例如，MOON在各种图像分类任务中明显优于其他联邦学习算法；CreamFL在图像-文本检索和视觉问答任务上比目前流行的联邦学习方法更好。
