小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本研究提出了LoRA-A2方法,旨在解决联邦学习中大规模语言模型微调的聚合不一致性问题,尤其是在数据异构的情况下。该方法在低秩条件下表现优异,参数上传量减少99.8%,同时保持性能,适用于资源受限环境的实际应用。

Research on Robust and Efficient Federated Low-Rank Adaptation for Heterogeneous Clients

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

本文提出了一种新的独立客户抽样策略,以优化联邦学习在无线网络中的训练时间和性能。实验结果表明,该策略在数据异构环境下显著优于现有方案,并建议在非独立同分布场景中采用多项式分布采样。此外,研究还探讨了客户端选择和资源分配的优化方法,以提高收敛速度和降低能耗。

自适应异构客户端采样用于无线网络上的联邦学习

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-22T00:00:00Z

该文综述了面向医学图像等领域的多种个性化联邦学习方法,包括FedICRA、pFedPG、LC-Fed、FedLPA、pFedLA、FedSpa、AUG-FedPrompt、FedIIC等,这些方法通过自适应对比表示、提示生成、稀疏掩码、数据增强等策略,解决数据异构与隐私问题,提升分割与视觉问答性能。

FedLPPA:联邦弱监督医学图像分割中个性化提示和聚合的学习

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-27T00:00:00Z

本文综述半监督联邦学习进展:FedoSSL解决异构未知类偏差;ProtoFSSL用原型网络降低通信成本;FedAnchor以双头结构缓解伪标签偏见;IsoFed分离训练带标签与无标签客户端;FedMatch、RSCFed、SSFL、FedDure分别应对客户端差异、数据异构与分布不同;SSFOD用于自动驾驶目标检测,性能接近全监督集中训练。

具有极端标签不足的联邦模型的鲁棒训练

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-22T00:00:00Z

该文综述联邦聚类学习进展,提出集群对比联邦聚类(CCFC)、FCCL+、FedDecorr、FCCA、StoCFL等方法,通过对比学习、聚类与分布对齐缓解数据异构和维度崩溃,提升聚类与全局模型性能,并探讨数据异质性的影响。

CCFC++:通过特征去相关化增强联邦聚类

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-20T00:00:00Z

该文综述联邦学习与提示学习结合的研究,涵盖个性化提示生成、双提示联邦学习、多模态提示检索、医学视觉问答隐私保护等方向,旨在解决数据异构、通信开销和隐私问题,提升模型泛化与个性化能力。

基于提示的个性化联邦学习用于医学视觉问答

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-15T00:00:00Z

该文综述半监督联邦学习研究进展,涵盖ProtoFSSL、FedMatch、IsoFed、FedoSSL、SSFL、pFedKnow、FedCNI等方法,聚焦标签不足、数据异构、通信成本与标签噪声等挑战,并在医学图像等数据集上验证有效性。

FedAnchor: 为未标记的客户端增强联邦半监督学习的标签对比损失

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-15T00:00:00Z

联邦学习无需集中原始数据即可分布式训练AI模型。本文综述其在医疗等领域的应用:结合密码学与压缩技术保障安全、支持异步通信;利用预训练模型和嵌入共享应对数据异构;引入分布式噪声提升对抗鲁棒性;提出个性化框架和FedER策略提高效率与诊断准确率;并探索矩阵分解、差分隐私及区块链技术防止梯度泄露。

一种利用同态加密和联邦学习的先进数据布局体系结构

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-15T00:00:00Z

该文综述联邦自监督学习在语音音频领域的应用:利用预训练ASR编码器提升识别性能并保护隐私;提出FedEMA解决数据非独立同分布问题;LW-FedSSL降低客户端资源需求;SSFL应对标签不足与数据异构;并探索鸟类声音、关键词识别及谱特征融合等任务。

探索面向通用音频理解的联邦自监督学习

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-05T00:00:00Z

该文综述多种联邦学习方法,针对数据异构与负迁移问题,提出FedCollab按数据分布和数量聚类客户端以减轻负迁移,并介绍信息论泛化框架、客户端生成器、FCCL+相关性学习、协作均衡、FedCLG、原型框架、PerFed-CKT及FL+HC分层聚类等方法,均提升精度、收敛与通信效率。

协作方法:为了最大化跨边界联邦学习的泛化性能

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-24T00:00:00Z

该文综述异步联邦学习研究,涵盖设备与数据异构、隐私安全及应用,指出挑战与方向。多项研究提出定期聚合、调度与更新策略、CA-Fed、AdapterFL、FedALA、LESSON、TimelyFL等框架,通过年龄感知加权、自适应本地聚合和资源调度,提升收敛速度、测试精度与参与率,降低能耗。

资源受限异步联邦学习系统中的降低系统偏差

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-24T00:00:00Z

该文综述联邦学习在遥感、车联网等领域的应用,涵盖多模态框架、隐私保护、超可靠低延迟通信、sim2real域适应及交通状态估计,重点解决数据异构与隐私问题。

FedRSU: 基于路边单位的场景流估计的联合学习

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-23T00:00:00Z

该文汇总多项联邦学习研究,聚焦数据异构(非独立同分布、标签偏斜)引发的客户端漂移与泛化问题。所提方法包括:FedBalance以私有弱学习器集成纠正本地优化偏差;FedAlign用局部学习广泛性替代接近约束;FedCSD通过类原型相似度蒸馏缓解漂移与遗忘;FML支持个性化与通用模型协同设计;FedLC处理标签分布偏斜;FedHist以历史梯度加权融合应对异步滞后;FedCollab按数据分布距离与数量聚类客户端以减轻负迁移。

FLex&Chill: 通过 Logit 冷却提高本地联合学习训练

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-18T00:00:00Z

该文综述个性化联邦学习方法,旨在平衡个性化与全局训练并应对数据异构,涵盖去中心化在线学习、超网络pFedHN、FedPer基础加个性化层、元网络个性化策略、联邦重构、新客户端无监督自适应FedTTA、按相关客户联合训练、贝叶斯框架pFedBreD及FedSplit/FedFac等,多数方法在基准数据集上优于现有方法。

个性化联邦学习中的所需学习内容

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-16T00:00:00Z

该文综述联邦学习中的客户端选择技术,针对非独立同分布与异构数据导致的收敛慢、更新差异大等问题,介绍了HiCS-FL聚类抽样、Hybrid-FL协作机制、基于聚类的方差约减、FedACS个性化学习、混合剪枝个性化模型、无线资源联合优化、SocFedCS成本优化及无人机恶意节点排除等方案,并总结传统随机选择、性能与资源导向选择及安全增强等方向,指出动态约束与异构网络仍存开放挑战。

应对 HAPS-enabled FL 网络中的 Non-IID 问题的战略客户选择

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-10T00:00:00Z

该文综述联邦表示学习研究,通过融合预训练模型表示、原型对比学习、相似度蒸馏和在线知识蒸馏等方法,在保护隐私和降低通信成本的前提下实现客户端协同学习。FedPCL、MOON、FedCollab、CreamFL等框架可缓解数据异构与灾难性遗忘问题,支持多模态和个性化学习,在图像分类、检索等任务上优于传统联邦学习。

松弛对比学习用于联合学习

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-10T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码