小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
SPD:大语言模型高效张量并行的同步点丢弃技术

随着大语言模型的快速发展,分布式推理中的通信开销成为主要挑战。我们提出了一种新技术Sync-Point Drop(SPD),通过选择性减少注意力输出的同步,降低通信开销。SPD在保持模型准确性的同时,有效缓解了通信瓶颈,实现了约20%的推理延迟减少,准确率下降不足1%。

SPD:大语言模型高效张量并行的同步点丢弃技术

Apple Machine Learning Research
Apple Machine Learning Research · 2025-05-22T00:00:00Z

本研究综述了联邦学习在分布式机器学习中的数据隐私与安全问题,分析其架构、生命周期及技术挑战,提出降低通信开销和增强隐私的新方法,展示其在医疗、金融和智能物联网等领域的应用潜力。

Federated Learning: A Survey on Privacy-Preserving Collaborative Intelligence

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-24T00:00:00Z

本研究提出选择性注意联邦学习(SAFL)方法,旨在解决医疗应用中的通信开销和模型隐私问题。SAFL通过动态微调重要变换层,降低通信带宽并增强隐私保护。实验结果表明,SAFL在临床自然语言处理基准测试中表现优越,提升了效率并维护了隐私。

Selective Attention Federated Learning: Enhancing Privacy and Efficiency in Clinical Text Classification

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-16T00:00:00Z

本研究探讨了去中心化联邦学习中的领域泛化问题,提出了StyleDDG算法,通过共享风格信息实现领域泛化。该算法在不同目标领域中显著提高了准确性,并减少了通信开销。

去中心化联邦领域泛化与风格共享:形式建模与收敛分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-08T00:00:00Z

本研究提出了一种新优化器Dion,旨在降低大型AI模型训练中的通信开销。Dion通过正交化更新和设备本地动量缓冲区,避免全梯度矩阵同步,从而提升训练效率。

Dion: An Efficient Communication Optimizer for Large AI Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-07T00:00:00Z

本研究提出了COMET系统,通过数据依赖性分析和任务重调度,优化了混合专家模型在分布式环境中的通信开销,实现了计算与通信的重叠,从而显著加速了模型执行。

COMET: Fine-Grained Computation-Communication Overlap for Mixture-of-Experts

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-27T00:00:00Z

该研究提出了一种新的分布式交叉注意力机制LV-XAttn,旨在解决多模态大语言模型在处理大量视觉输入时的高内存需求和通信开销问题。该方法通过在每个GPU上保留大的键值块并交换较小的查询块,显著降低了通信开销,并支持更长的视觉上下文,实验证明可实现高达5.58倍的速度提升。

LV-XAttn: Distributed Cross-Attention for Long Visual Inputs in Multimodal Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-04T00:00:00Z

本研究提出了PRESERVE框架,旨在解决大语言模型推理中的内存带宽瓶颈和设备间通信开销问题。通过优化内存读取和集体通信,该框架在商业AI加速器上实现了最高1.6倍的加速,显著提高了性能和成本效率。

PRESERVE: Prefetching Model Weights and KV-Cache in Distributed LLM Serving

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-14T00:00:00Z

本文介绍了联邦蒸馏(FD)和联邦增强(FAug)算法,这两种方法显著减少了通信开销并提高了测试精度。研究表明,FD和FAug可将通信成本减少约26倍,同时实现95-98%的准确率。此外,提出了一种结合集中式与分散式联邦学习的框架,以应对物联网中的数据异构性和通信瓶颈,提升模型性能。

生成式人工智能驱动的插件用于异构物联网网络中的稳健联邦学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-31T00:00:00Z

本研究提出了一种基于数据相似性的单次聚类算法,旨在解决层次联邦学习中的聚类身份估计问题。该方法提高了聚类效率,降低了隐私风险和通信开销,实验结果表明其在准确性和方差降低方面优于传统方法。

Data Similarity-Based One-Shot Clustering for Multi-Task Hierarchical Federated Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-03T00:00:00Z

本研究提出了一种集成的联合分割学习和超维计算框架(FSL-HDC),用于解决元宇宙中联合学习的通信开销和计算需求问题。该方法降低了通信成本和计算负担,适用于资源受限的边缘设备,并提高了交互的实时响应能力。研究结果表明,FSL-HDC在准确率和收敛速度上优于传统方法。

基于超维计算的无线网络联合基础模型应用于元宇宙

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-26T00:00:00Z

该研究提出了一种新型联邦学习方法,结合二进制神经网络和贝叶斯推理,显著降低通信开销并提高模型准确性。通过自适应辍学和结构化更新,实验结果显示可减少上行通信成本并提升训练效率。

FedBAT:通过可学习的二值化实现高效通信的联邦学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-06T00:00:00Z
PINE:用于秘密共享向量的高效范数界验证

介绍了PINE协议,用于确保贡献向量的欧几里德范数有界。PINE在高维向量上的通信开销仅为几个百分点,而前者的开销为16-32倍。

PINE:用于秘密共享向量的高效范数界验证

Apple Machine Learning Research
Apple Machine Learning Research · 2024-07-17T00:00:00Z

本文介绍了一种新的压缩友好的损失函数,旨在提高特征的可压缩性,同时保持系统性能。实验结果表明,该方法可降低约20%的比特率,并有效减少特征数据通讯中的通信开销70%,而不影响准确性。

远程视觉多任务推理的压缩特征选择

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-15T00:00:00Z

该研究提出了多种新方法解决联邦学习中的数据异质性问题,包括SDA-FL、FD、FAug、FedGH和FedSiKD。这些方法通过合成数据、知识蒸馏和梯度协调等技术,显著提高了模型性能和训练效率,减少了通信开销。实验结果表明,这些方法在处理非独立同分布数据时表现优异。

稳定的基于扩散的非独立同分布数据增强的联邦学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-13T00:00:00Z

该研究提出了一种基于联邦学习的隐私保护细粒度遥感目标分类框架,提高私有数据的局部表示,最小化通信开销,提高效率,增强鲁棒性和实际适用性。

联邦遥感目标细粒度分类:一种参数高效的框架

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-03T00:00:00Z

该文介绍了一种基于量子二分相干算法的盲量子机器学习协议,具有降低通信开销和保护数据隐私的特点。该协议引入了低计算开销的鲁棒算法特定的隐私保护机制,无需复杂的密码学技术。通过复杂度和隐私分析,验证了该协议的有效性。

利用量子二分量子相关器进行盲量子机器学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-19T00:00:00Z

本文提出了一种基于稀疏二进制压缩的通信框架,通过减少分布式训练的通信成本,实现了较低的通信开销。实验结果表明,该框架在不影响传递速度的情况下,每个客户端的通信开销降至3.35GB,对于使用较小计算机网络的情况具有重要意义。

一位压缩感知的通信高效去中心化联邦学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-31T00:00:00Z

使用分层学习和同态加密的混合方法在MIT-BIH数据集上提供了更快的训练时间和减少的通信开销,为深度学习中的敏感数据提供了更好的隐私保护。

无泄漏的分割学习:减少隐私泄露

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-30T00:00:00Z

本文讨论了联邦学习在人工智能网络中的环境影响问题。作者提出了一种基于深度强化学习的解决方案,通过编排计算和通信资源来降低总能量消耗。文章介绍了设备级同步方法和计算成本有效的FL环境,以进一步降低能量消耗和通信开销。评估结果显示,该方案在静态和动态环境下能够有效降低总能量消耗高达94%。

无线通信网络中能效联邦学习的安全深度强化学习方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-21T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码