随着大语言模型的快速发展,分布式推理中的通信开销成为主要挑战。我们提出了一种新技术Sync-Point Drop(SPD),通过选择性减少注意力输出的同步,降低通信开销。SPD在保持模型准确性的同时,有效缓解了通信瓶颈,实现了约20%的推理延迟减少,准确率下降不足1%。
本研究综述了联邦学习在分布式机器学习中的数据隐私与安全问题,分析其架构、生命周期及技术挑战,提出降低通信开销和增强隐私的新方法,展示其在医疗、金融和智能物联网等领域的应用潜力。
本研究提出选择性注意联邦学习(SAFL)方法,旨在解决医疗应用中的通信开销和模型隐私问题。SAFL通过动态微调重要变换层,降低通信带宽并增强隐私保护。实验结果表明,SAFL在临床自然语言处理基准测试中表现优越,提升了效率并维护了隐私。
本研究探讨了去中心化联邦学习中的领域泛化问题,提出了StyleDDG算法,通过共享风格信息实现领域泛化。该算法在不同目标领域中显著提高了准确性,并减少了通信开销。
本研究提出了一种新优化器Dion,旨在降低大型AI模型训练中的通信开销。Dion通过正交化更新和设备本地动量缓冲区,避免全梯度矩阵同步,从而提升训练效率。
本研究提出了COMET系统,通过数据依赖性分析和任务重调度,优化了混合专家模型在分布式环境中的通信开销,实现了计算与通信的重叠,从而显著加速了模型执行。
该研究提出了一种新的分布式交叉注意力机制LV-XAttn,旨在解决多模态大语言模型在处理大量视觉输入时的高内存需求和通信开销问题。该方法通过在每个GPU上保留大的键值块并交换较小的查询块,显著降低了通信开销,并支持更长的视觉上下文,实验证明可实现高达5.58倍的速度提升。
本研究提出了PRESERVE框架,旨在解决大语言模型推理中的内存带宽瓶颈和设备间通信开销问题。通过优化内存读取和集体通信,该框架在商业AI加速器上实现了最高1.6倍的加速,显著提高了性能和成本效率。
本文介绍了联邦蒸馏(FD)和联邦增强(FAug)算法,这两种方法显著减少了通信开销并提高了测试精度。研究表明,FD和FAug可将通信成本减少约26倍,同时实现95-98%的准确率。此外,提出了一种结合集中式与分散式联邦学习的框架,以应对物联网中的数据异构性和通信瓶颈,提升模型性能。
本研究提出了一种基于数据相似性的单次聚类算法,旨在解决层次联邦学习中的聚类身份估计问题。该方法提高了聚类效率,降低了隐私风险和通信开销,实验结果表明其在准确性和方差降低方面优于传统方法。
本研究提出了一种集成的联合分割学习和超维计算框架(FSL-HDC),用于解决元宇宙中联合学习的通信开销和计算需求问题。该方法降低了通信成本和计算负担,适用于资源受限的边缘设备,并提高了交互的实时响应能力。研究结果表明,FSL-HDC在准确率和收敛速度上优于传统方法。
该研究提出了一种新型联邦学习方法,结合二进制神经网络和贝叶斯推理,显著降低通信开销并提高模型准确性。通过自适应辍学和结构化更新,实验结果显示可减少上行通信成本并提升训练效率。
介绍了PINE协议,用于确保贡献向量的欧几里德范数有界。PINE在高维向量上的通信开销仅为几个百分点,而前者的开销为16-32倍。
本文介绍了一种新的压缩友好的损失函数,旨在提高特征的可压缩性,同时保持系统性能。实验结果表明,该方法可降低约20%的比特率,并有效减少特征数据通讯中的通信开销70%,而不影响准确性。
该研究提出了多种新方法解决联邦学习中的数据异质性问题,包括SDA-FL、FD、FAug、FedGH和FedSiKD。这些方法通过合成数据、知识蒸馏和梯度协调等技术,显著提高了模型性能和训练效率,减少了通信开销。实验结果表明,这些方法在处理非独立同分布数据时表现优异。
该研究提出了一种基于联邦学习的隐私保护细粒度遥感目标分类框架,提高私有数据的局部表示,最小化通信开销,提高效率,增强鲁棒性和实际适用性。
该文介绍了一种基于量子二分相干算法的盲量子机器学习协议,具有降低通信开销和保护数据隐私的特点。该协议引入了低计算开销的鲁棒算法特定的隐私保护机制,无需复杂的密码学技术。通过复杂度和隐私分析,验证了该协议的有效性。
本文提出了一种基于稀疏二进制压缩的通信框架,通过减少分布式训练的通信成本,实现了较低的通信开销。实验结果表明,该框架在不影响传递速度的情况下,每个客户端的通信开销降至3.35GB,对于使用较小计算机网络的情况具有重要意义。
使用分层学习和同态加密的混合方法在MIT-BIH数据集上提供了更快的训练时间和减少的通信开销,为深度学习中的敏感数据提供了更好的隐私保护。
本文讨论了联邦学习在人工智能网络中的环境影响问题。作者提出了一种基于深度强化学习的解决方案,通过编排计算和通信资源来降低总能量消耗。文章介绍了设备级同步方法和计算成本有效的FL环境,以进一步降低能量消耗和通信开销。评估结果显示,该方案在静态和动态环境下能够有效降低总能量消耗高达94%。
完成下面两步后,将自动完成登录并继续当前操作。