小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究探讨了差分隐私随机非凸优化中寻找二阶静态点的问题,提出了一种基于高斯噪声注入的随机梯度下降框架。该框架通过模型漂移距离判断是否逃离鞍点,确保收敛到近似局部最小值。算法在分布式学习中应用,为异构数据环境中的DP-SOSP提供了正式保证,并通过实际数据集验证了其有效性。

Second-Order Convergence in Private Stochastic Non-Convex Optimization

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-21T00:00:00Z
反向传播、前向传播都不要,这种无梯度学习方法是Hinton想要的吗?

Noprop是一种新型神经网络训练方法,无需反向传播或前向传播,通过独立去噪每一层,提高了计算效率和准确率,克服了传统方法的局限性。研究显示,Noprop在多个数据集上表现优异,可能对分布式学习产生重大影响。

反向传播、前向传播都不要,这种无梯度学习方法是Hinton想要的吗?

机器之心
机器之心 · 2025-04-07T05:22:07Z

本研究提出了一种分布式分层联邦学习框架,旨在解决未来6G通信系统中非地面网络的效率和隐私问题。该框架通过高空平台整合低轨道卫星与地面客户端的训练,显著提升模型准确性并降低延迟。

非地面网络中的联邦学习:设计、架构与挑战

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-10T00:00:00Z

本研究探讨了激励不足条件下的参数学习问题,提出了一种在线算法,能够计算可识别和不可识别的子空间,并在最小二乘意义上提供最优参数估计。在无噪声情况下,学习误差指数收敛至零,为分布式参数学习提供了新视角。

参数学习中的激励不足

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-04T00:00:00Z

本研究提出了一种名为多用途鲁棒标签偏移(VRLS)的方法,旨在解决多节点分布式学习中的标签偏移问题。通过夏农熵正则化,VRLS显著提升了模型性能,并在多个数据集上超越了基准,展示了其实际应用潜力。

Solving Label Shift Problems in Distributed Learning through Entropy Regularization

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-04T00:00:00Z

本研究解决了分布式和联邦学习中因数据源特征异质性引起的模型聚合和收敛问题。通过引入能量距离,降低计算开销,增强收敛性,并提升异构节点间的协调性。

Measuring Heterogeneity in Machine Learning with Distributed Energy Distance

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-27T00:00:00Z

本研究探讨了无固定点光滑性的单时间尺度多序列随机逼近(MSSA),提出了新的理论分析。结果表明,当操作符强单调时,收敛速度为$ ilde{ ext{O}}(K^{-1})$;若主操作符非单调,则为$ ext{O}(K^{- rac{1}{2}})$。该发现为双层优化和分布式学习提供了简化算法及性能保证。

Single-Timescale Multi-Sequence Stochastic Approximation Without Fixed Point Smoothness: Theories and Applications

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

本文介绍了针对联邦学习中异构性和优化问题的多种算法和框架,包括FedProx、FedSplit、FedLin和S-DANE等。这些方法通过改进收敛性、通信效率和本地计算,展示了在分布式学习中的应用潜力和实验效果。

关于FedProx在外推与不精确近端下的收敛性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

本文提出了一种分布式学习框架,解决多智能体协作强化学习中的信任问题,利用图结构描述智能体关系,并提出基于本地价值函数的分布式强化学习方法,显著降低采样复杂性。同时,研究探讨了图神经网络在多智能体路径规划和社会感知导航中的应用,展示了其在复杂环境中的高效性和适应性。

强化学习发现高效的分散图路径搜索策略

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-12T00:00:00Z

本研究探讨了差分隐私的统计估计,提出了一种结合随机噪声的准确估计方法,并分析了隐私保护与学习性能之间的权衡。此外,研究了在拜占庭攻击下的分布式学习框架,提出了鲁棒聚合规则和基于Huber损失的均值估计方法,以确保用户隐私和模型的准确性。

在差分隐私下的分布式拟牛顿稳健估计

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-22T00:00:00Z

本文探讨了随机游走算法在去中心化学习中的应用,提出了多种新算法以提高隐私保护和计算效率。研究表明,随机游走算法在节点邻近情况下优于传统热点算法,并在图形数据集上表现出更高的速度和准确性。此外,文中介绍了针对分布式学习的算法改进,以解决数据异质性和通信成本问题。

图上韧性分散学习的自复制随机游走

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-16T00:00:00Z

本文研究了分布式学习中的隐私保护与拜占庭健壮性,提出了一种结合高斯噪声和鲁棒聚合规则的分布式随机梯度下降框架。分析表明隐私保护与健壮性之间存在权衡关系,实验验证了理论结果。此外,提出的聚合规则Bulyan有效提升了算法的收敛性能,增强了对抗攻击的抵御能力。

分布式学习中拜占庭攻击下的泛化误差问题

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-11T00:00:00Z

本文介绍了多种基于强化学习的联邦学习框架,如FedMarl和FedMRL,旨在提高模型精度、降低延迟和通信成本。此外,研究提出了针对农村医疗的脑组织分割框架和考虑能量限制的分布式学习框架DR-FL,以提升模型性能和知识共享。

FedMRL: 数据异质感知的医学影像联邦多智能体深度强化学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-08T00:00:00Z

本文综述了分布式学习算法在无人机群体中的应用,涉及通信服务、资源分配和智能城市监测等领域。研究提出了多种基于深度学习的决策算法,提升了无人机在农业监测和数据收集中的效率,强调了数据隐私保护和学习准确性的重要性,并探讨了未来的研究方向。

农村环境监测中的无人机辅助分布式学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-02T00:00:00Z

本文探讨了分布式学习中的滞后问题,提出了基于梯度编码的解决方案,如GOCO和SGC,以提高算法的鲁棒性和学习性能。这些方法通过优化通信开销和减少运行时间,证明了在滞后节点存在时的有效性。

基于边缘设备的分布式学习的分层梯度编码设计与优化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-16T00:00:00Z

本文介绍了多种新算法和方法,旨在解决分布式和联邦学习中的定位、个性化及优化问题。这些算法通过提高通信效率、降低异常值影响和增强隐私保护,展示了在不同应用中的优越性能和收敛性。

非凸紧凑平滑次流形上的异构数据联邦学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-12T00:00:00Z

本文提出了一种抗拜占庭攻击的分布式学习方法Byrd-SAGA,该方法通过减少随机梯度方差实现鲁棒性和快速收敛。实验结果表明,Byrd-SAGA在抗攻击性和收敛速度上优于传统的分布式SGD方法。此外,研究还探讨了基于中位数的鲁棒性算法,证明其在多种损失函数下均能达到良好的统计误差率,并提升了通信效率。

通过裁剪梯度提升分布式学习的鲁棒性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-23T00:00:00Z

本文研究了分布式学习中的模型聚合问题,提出了一种新方法,通过优化本地训练和节能聚合,提升模型性能并降低通信开销。该方法实现了异步共识迭代,确保在通信误差下仍能收敛到全局最优模型,且在不同设备上表现优异。实验结果表明,相较于传统方案,该方法显著改善了通信效率。

不完善通信信道上的分散式联邦学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-21T00:00:00Z

研究发现,追随者可以通过策略性行动操控领导者的奖励信号,使其策略收敛到对自己更有利的均衡状态。研究还提出了最后迭代收敛和样本复杂度方面的结果,并设计了一种新的操控策略,相对于最优应对策略具有内在优势。实证结果支持理论结果。

广义和谐史塔克伯格博弈中的去中心化在线学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-06T00:00:00Z

该研究提出了一种分布式学习和访问策略,能够在没有信息交换或事先协议的情况下实现最佳认知系统吞吐量。该策略在已知和未知次要用户数量下都有优化表现。

一种具有对数复杂度和遗憾保证的在线基于梯度的缓存策略

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-02T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码