本研究提出了LoRA-A2方法,旨在解决联邦学习中大规模语言模型微调的聚合不一致性问题,尤其是在数据异构的情况下。该方法在低秩条件下表现优异,参数上传量减少99.8%,同时保持性能,适用于资源受限环境的实际应用。
本文提出了一种新的独立客户抽样策略,以优化联邦学习在无线网络中的训练时间和性能。实验结果表明,该策略在数据异构环境下显著优于现有方案,并建议在非独立同分布场景中采用多项式分布采样。此外,研究还探讨了客户端选择和资源分配的优化方法,以提高收敛速度和降低能耗。
该文综述了面向医学图像等领域的多种个性化联邦学习方法,包括FedICRA、pFedPG、LC-Fed、FedLPA、pFedLA、FedSpa、AUG-FedPrompt、FedIIC等,这些方法通过自适应对比表示、提示生成、稀疏掩码、数据增强等策略,解决数据异构与隐私问题,提升分割与视觉问答性能。
本文综述半监督联邦学习进展:FedoSSL解决异构未知类偏差;ProtoFSSL用原型网络降低通信成本;FedAnchor以双头结构缓解伪标签偏见;IsoFed分离训练带标签与无标签客户端;FedMatch、RSCFed、SSFL、FedDure分别应对客户端差异、数据异构与分布不同;SSFOD用于自动驾驶目标检测,性能接近全监督集中训练。
该文综述联邦聚类学习进展,提出集群对比联邦聚类(CCFC)、FCCL+、FedDecorr、FCCA、StoCFL等方法,通过对比学习、聚类与分布对齐缓解数据异构和维度崩溃,提升聚类与全局模型性能,并探讨数据异质性的影响。
该文综述联邦学习与提示学习结合的研究,涵盖个性化提示生成、双提示联邦学习、多模态提示检索、医学视觉问答隐私保护等方向,旨在解决数据异构、通信开销和隐私问题,提升模型泛化与个性化能力。
该文综述半监督联邦学习研究进展,涵盖ProtoFSSL、FedMatch、IsoFed、FedoSSL、SSFL、pFedKnow、FedCNI等方法,聚焦标签不足、数据异构、通信成本与标签噪声等挑战,并在医学图像等数据集上验证有效性。
联邦学习无需集中原始数据即可分布式训练AI模型。本文综述其在医疗等领域的应用:结合密码学与压缩技术保障安全、支持异步通信;利用预训练模型和嵌入共享应对数据异构;引入分布式噪声提升对抗鲁棒性;提出个性化框架和FedER策略提高效率与诊断准确率;并探索矩阵分解、差分隐私及区块链技术防止梯度泄露。
该文综述联邦自监督学习在语音音频领域的应用:利用预训练ASR编码器提升识别性能并保护隐私;提出FedEMA解决数据非独立同分布问题;LW-FedSSL降低客户端资源需求;SSFL应对标签不足与数据异构;并探索鸟类声音、关键词识别及谱特征融合等任务。
该文综述多种联邦学习方法,针对数据异构与负迁移问题,提出FedCollab按数据分布和数量聚类客户端以减轻负迁移,并介绍信息论泛化框架、客户端生成器、FCCL+相关性学习、协作均衡、FedCLG、原型框架、PerFed-CKT及FL+HC分层聚类等方法,均提升精度、收敛与通信效率。
该文综述异步联邦学习研究,涵盖设备与数据异构、隐私安全及应用,指出挑战与方向。多项研究提出定期聚合、调度与更新策略、CA-Fed、AdapterFL、FedALA、LESSON、TimelyFL等框架,通过年龄感知加权、自适应本地聚合和资源调度,提升收敛速度、测试精度与参与率,降低能耗。
该文综述联邦学习在遥感、车联网等领域的应用,涵盖多模态框架、隐私保护、超可靠低延迟通信、sim2real域适应及交通状态估计,重点解决数据异构与隐私问题。
该文汇总多项联邦学习研究,聚焦数据异构(非独立同分布、标签偏斜)引发的客户端漂移与泛化问题。所提方法包括:FedBalance以私有弱学习器集成纠正本地优化偏差;FedAlign用局部学习广泛性替代接近约束;FedCSD通过类原型相似度蒸馏缓解漂移与遗忘;FML支持个性化与通用模型协同设计;FedLC处理标签分布偏斜;FedHist以历史梯度加权融合应对异步滞后;FedCollab按数据分布距离与数量聚类客户端以减轻负迁移。
该文综述个性化联邦学习方法,旨在平衡个性化与全局训练并应对数据异构,涵盖去中心化在线学习、超网络pFedHN、FedPer基础加个性化层、元网络个性化策略、联邦重构、新客户端无监督自适应FedTTA、按相关客户联合训练、贝叶斯框架pFedBreD及FedSplit/FedFac等,多数方法在基准数据集上优于现有方法。
该文综述联邦学习中的客户端选择技术,针对非独立同分布与异构数据导致的收敛慢、更新差异大等问题,介绍了HiCS-FL聚类抽样、Hybrid-FL协作机制、基于聚类的方差约减、FedACS个性化学习、混合剪枝个性化模型、无线资源联合优化、SocFedCS成本优化及无人机恶意节点排除等方案,并总结传统随机选择、性能与资源导向选择及安全增强等方向,指出动态约束与异构网络仍存开放挑战。
该文综述联邦表示学习研究,通过融合预训练模型表示、原型对比学习、相似度蒸馏和在线知识蒸馏等方法,在保护隐私和降低通信成本的前提下实现客户端协同学习。FedPCL、MOON、FedCollab、CreamFL等框架可缓解数据异构与灾难性遗忘问题,支持多模态和个性化学习,在图像分类、检索等任务上优于传统联邦学习。
完成下面两步后,将自动完成登录并继续当前操作。