小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
联邦变分不等式的更快收敛速率

本文研究了联邦优化在随机变分不等式(VIs)中的应用,提出了改进的收敛速率。分析经典Local Extra SGD算法时发现其存在客户漂移问题,因此提出了新算法LIPPAX,有效减轻客户漂移并在多种情况下实现更好的收敛保证。此外,结果还扩展到联邦复合变分不等式,提供了改进的收敛保证。

联邦变分不等式的更快收敛速率

Apple Machine Learning Research
Apple Machine Learning Research · 2026-02-13T00:00:00Z
NeurIPS 2025 Oral | 1个Token零成本,REG让Diffusion训练收敛快20倍!

抱歉,您提供的文本内容过于简短,无法进行有效的总结。请提供更详细的文章内容。

NeurIPS 2025 Oral | 1个Token零成本,REG让Diffusion训练收敛快20倍!

机器之心
机器之心 · 2025-11-29T12:38:05Z

在数学教授的指导下,GPT-5首次将第四矩定理扩展为具有显式收敛率的定量形式,明确了收敛速度。研究者通过对话引导GPT-5,整理出可投稿的研究论文,并探讨了该结果的未来拓展方向。

真·博士水平!GPT-5首次给出第四矩定理显式收敛率,数学教授只点拨了一下

量子位
量子位 · 2025-09-10T09:17:24Z

本研究分析了异构设备在联邦学习中的效率、公平性和隐私权衡。比较FedAvg和FedAsync后发现,异步方法加速收敛,但增加了高端设备的隐私损失和公平性问题,提示需优化聚合和隐私机制。

Empirical Analysis of Asynchronous Federated Learning on Heterogeneous Devices: Efficiency, Fairness, and Privacy Trade-offs

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-11T00:00:00Z

本研究针对进化算法中普遍认为的停滞问题进行了深入探讨,指出停滞并不必然妨碍收敛,同时收敛也不一定表示最优。研究首次揭示,个体的停滞可以促进整个种群的收敛,且收敛不足以保障进化算法的有效性。这些发现对进化算法的理解与应用具有重要影响。

进化算法中的停滞:收敛不等于最优性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-02T00:00:00Z

本研究分析了深度神经网络训练中不同优化方法的收敛速度,结果显示Adam优化器收敛速度较快,而RMSprop较慢。这为优化算法的选择提供了理论依据,提升了深度学习模型的训练效率。

Adam优化器的高阶收敛速度研究

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-28T00:00:00Z

本研究针对大语言模型(LLMs)在研究写作中的应用差异进行探讨,特别关注AI辅助生成修订对论文风格的影响。通过分析超过627,000篇来自arXiv的学术论文数据,发现不同学科、性别、母语和职业阶段的研究人员在使用LLMs方面存在显著差异,同时LLM的使用显著提升了学术写作的清晰度、简洁性和规范遵循度,最显著的影响来自于早期采用者和特定群体。

研究写作中的大语言模型采用差异及异质收敛路径

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-18T00:00:00Z

本研究提出了一种新算法FedHSA,旨在解决时间相关数据下的异质联邦随机近似问题。该算法保证收敛,并实现样本复杂度的线性加速,为协作强化学习和优化提供了理论基础。

Achieving Tighter Finite-Time Rates for Heterogeneous Federated Stochastic Approximation under Markovian Sampling

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-15T00:00:00Z
AdEMAMix优化器:更好、更快、更久

动量优化器在机器学习中非常重要,通常依赖于梯度的指数移动平均(EMA)。本文质疑单一EMA的有效性,提出了AdEMAMix,通过混合两个EMA更有效地利用历史梯度。实验结果表明,梯度在数万步内仍然相关,能够加速收敛、降低损失,并显著减缓模型遗忘。

AdEMAMix优化器:更好、更快、更久

Apple Machine Learning Research
Apple Machine Learning Research · 2025-04-10T00:00:00Z

本研究探讨了去中心化联邦学习中的领域泛化问题,提出了StyleDDG算法,通过共享风格信息实现领域泛化。该算法在不同目标领域中显著提高了准确性,并减少了通信开销。

去中心化联邦领域泛化与风格共享:形式建模与收敛分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-08T00:00:00Z
300年后牛顿法得到改进,修改泰勒展开式,收敛速度更快

研究人员改进了牛顿法,使其适用于更广泛的函数类别,提升了计算效率。新算法通过调整泰勒展开式,结合凸性和平方和特性,能够更快收敛到最小值,未来在优化领域有望发挥重要作用。

300年后牛顿法得到改进,修改泰勒展开式,收敛速度更快

机器之心
机器之心 · 2025-03-26T05:02:08Z

三位普林斯顿数学家改进了经典牛顿法,提升了收敛速度和适用范围。新算法通过调整泰勒展开,更有效地处理复杂函数,尤其在初始点远离最小值时表现更佳。参与者包括华人学者Jeffrey Zhang,研究方向涵盖数据科学和优化。

三位数学家改写经典牛顿法!300年前算法一夜更新,收敛速度更快函数范围更广

量子位
量子位 · 2025-03-25T07:59:01Z
统一自监督预训练!视觉模型权重无缝迁移下游任务,SiT收敛提速近47倍

最近研究提出统一自监督预训练(USP),通过在变分自编码器(VAE)潜在空间中进行掩码建模,提升了扩散模型的生成质量和收敛速度。USP在图像分类和分割等任务中表现优异,显著加速了模型训练。

统一自监督预训练!视觉模型权重无缝迁移下游任务,SiT收敛提速近47倍

机器之心
机器之心 · 2025-03-16T14:27:35Z

本研究探讨了深度神经网络在特征学习与全球收敛之间的关系,揭示了现有方法的局限。我们提出了一种新的方法,通过使用随机梯度下降(SGD)和最大更新参数化,训练无限宽的$L$层神经网络,以学习与初始值显著不同的线性独立特征,从而确保收敛点为全局最优解。这一发现为深度表示学习提供了新的理论视角。

在$μ$P参数化下$L$层无限宽神经网络的全球收敛与丰富特征学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-12T00:00:00Z

本研究提出了一种基于合作自适应马尔可夫决策过程的方法,旨在解决机器人辅助康复中的人机界面设计问题。研究表明,在特定条件下,系统能够收敛至独特的纳什均衡,为自适应系统设计提供理论指导。

人机共同适应模型及其收敛分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-10T00:00:00Z

本文探讨了多步时间差(TD)学习算法在“致命三合一”场景中的应用,证明了在足够大的采样时间范围内,n步TD学习算法能够收敛到有效解决方案,为无模型强化学习提供了理论支持。

带线性函数逼近的脱策略n步时间差学习分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-13T00:00:00Z

本文解决了线性Q学习可能发生发散的问题,首次建立了其收敛至有界集合的$L^2$收敛速率。研究表明,使用自适应温度的$\epsilon$-softmax行为策略即可实现此收敛,无需对原算法进行修改或假设贝尔曼完整性。此研究的关键在于处理具有快速变化转移函数的马尔可夫噪声下的随机逼近理论,对Q学习领域具有重要影响。

线性Q学习的收敛性:收敛速率至有界集合

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-31T00:00:00Z

本研究针对传统人类反馈强化学习(RLHF)框架在隐私保护和个性化需求日益增加的背景下面临的中心化数据的局限,提出了一个去中心化的联邦强化学习人类反馈框架(FedRLHF)。该框架不仅保证了用户隐私的保护,还与中心化RLHF相当,同时在多样化的客户环境中提升了个性化推荐能力。

FedRLHF: 一个收敛保证的联邦框架,用于隐私保护和个性化的强化学习人类反馈

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-20T00:00:00Z

本研究提出了一种基于优势的优化方法ABQ,旨在解决高维大动作空间中的收敛困难和不稳定性问题。实验结果表明,ABQ在多个环境中显著提高了累积奖励,展现出卓越的优化能力。

Application of Advantage-Based Reinforcement Learning Optimization Method in Large Action Spaces

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-17T00:00:00Z
数值根寻找算法:基础、理论与高级方法。第一部分

根寻找是计算数学的核心问题,广泛应用于物理、工程和经济等领域。文章讨论了根寻找算法的基本原理及其收敛特性,介绍了二分法、牛顿-拉夫森法、割线法和布伦特法等算法。牛顿法因其快速收敛而常用于实际应用,而二分法则在需要保证收敛时更为可靠。

数值根寻找算法:基础、理论与高级方法。第一部分

DEV Community
DEV Community · 2024-12-01T02:22:02Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码