小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文重启“科学炼丹”专题,探讨SGD在无界域的收敛性。通过引入期望形式简化推导,得出更宽松的收敛结论,强调学习率策略的重要性,具有理论与实践的参考价值。

让炼丹更科学一些(二):将结论推广到无界域

科学空间|Scientific Spaces
科学空间|Scientific Spaces · 2025-12-12T02:21:00Z

本研究针对一般参数化的无限时域平均奖励约束马尔可夫决策过程(CMDPs),提出了一种原始-对偶自然演员评论算法,确保全局收敛并降低约束违反率,建立了新的理论基准。

具有原始-对偶演员评论算法的平均奖励约束马尔可夫决策过程的全局收敛性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-21T00:00:00Z

本研究提出了一种新颖的高阶正则化方法(HR),旨在解决机器学习中正则化技术的不足。该方法确保了近似算法的收敛性,增强了正则化与可解释学习的联系,显著提升了神经网络的可泛化性和输出解释能力。

高阶正则化在机器学习和基于学习的控制中的应用

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-13T00:00:00Z

本研究探讨了投影贝尔曼方程(PBE)的理论性质及求解算法,提出了PBE解的两个充分条件,并分析了SNRDD假设与线性Q学习和近似值迭代的收敛性关系。

理解投影贝尔曼方程、线性Q学习和近似值迭代的理论属性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-15T00:00:00Z

本研究探讨了随机高斯平滑零阶外梯度算法在非凸-非凹目标函数的最小-最大优化中的表现,证明了其在约束和非约束情况下的收敛性,并引入了新的近端变分不等式概念,为优化非可微问题提供了解决方案。

使用随机零阶外梯度算法进行非凸-非凹函数的最小-最大优化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-10T00:00:00Z

本研究探讨了Polyak-Lojasiewicz不等式的广义及其对优化问题中梯度流行为的影响,指出了文献中较弱PLI版本的不足。研究表明,成本函数的不等式类型显著影响梯度流解的特征,为CT-LQR政策优化提供了新的理论框架。

关于Polyak-Lojasiewicz不等式及其对梯度系统收敛性的影响的探讨

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-31T00:00:00Z

本研究综述了物理信息神经网络(PINNs)在求解偏微分方程(PDEs)时的收敛性问题,提出通过转移学习和元学习提升训练效率,以便在数据稀缺的情况下更快适应新PDE,并指出未来的研究方向。

Adaptive Physics-Informed Neural Networks: A Review

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-23T00:00:00Z

本研究提出了一种基于流的生成模型的理论框架,解决了传统自回归算法在时间序列预测中的局限。该框架从逼近、泛化和效率三个方面提供理论保证,证明了在任意误差下的收敛性,并展示了快速收敛的优化过程。

Theoretical Foundation of Flow-Based Time Series Generation: Provable Approximation, Generalization, and Efficiency

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-18T00:00:00Z

本研究探讨了联邦学习算法在非独立同分布数据上的收敛性,提出隐式正则化概念,并分析了FedAvg、FedSAM和SCAFFOLD等算法的局限性,为联邦学习的收敛行为提供了新视角。

Convergence Analysis of Federated Learning Methods Using Backward Error Analysis

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-05T00:00:00Z

本文研究了经过梯度流训练的单隐藏层ReLU网络在$n$个数据点上的收敛性,发现宽度为$ ext{log}(n)$的网络能够高概率实现全局收敛,并揭示了收敛速度的渐近特征。

弱交互数据上浅层ReLU网络的收敛性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-24T00:00:00Z
突破:连续扩散模型创造更自然的语言AI,性能更佳

该研究提出了一种连续扩散模型用于语言建模,通过统计流形提升文本生成质量和采样速度,取得了语言基准的最先进结果,且收敛性优于离散扩散模型。

突破:连续扩散模型创造更自然的语言AI,性能更佳

DEV Community
DEV Community · 2025-02-20T07:12:32Z
噪声测量不会阻止人工智能找到最优解,研究表明

研究探讨了测量噪声对贝叶斯优化收敛性的影响,分析了在噪声条件下的理论保证,重点关注高斯过程建模和期望改进获取函数,展示了在观察存在噪声的情况下仍能实现收敛的条件。

噪声测量不会阻止人工智能找到最优解,研究表明

DEV Community
DEV Community · 2025-02-14T09:58:56Z

本文针对倒置强化学习、目标导向监督学习和在线决策变换器的收敛性与稳定性进行了深入分析,填补了这些算法在理论理解上的不足。研究强调了在特定环境条件下,这些算法如何识别最优解决方案,并探讨了在微小噪声影响下解决方案的稳定性。主要发现表明,当转移核心位于确定性核心的足够小邻域时,可以实现近似最优行为,标志着在强化学习领域的理论基础的初步建立。

倒置强化学习、目标导向的监督学习和在线决策变换器的收敛性与稳定性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-08T00:00:00Z

本文解决了线性Q学习可能发生发散的问题,首次建立了其收敛至有界集合的$L^2$收敛速率。研究表明,使用自适应温度的$\epsilon$-softmax行为策略即可实现此收敛,无需对原算法进行修改或假设贝尔曼完整性。此研究的关键在于处理具有快速变化转移函数的马尔可夫噪声下的随机逼近理论,对Q学习领域具有重要影响。

线性Q学习的收敛性:收敛速率至有界集合

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-31T00:00:00Z

本研究解决了分布式和联邦学习中因数据源特征异质性引起的模型聚合和收敛问题。通过引入能量距离,降低计算开销,增强收敛性,并提升异构节点间的协调性。

Measuring Heterogeneity in Machine Learning with Distributed Energy Distance

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-27T00:00:00Z

本研究提出了一种目标层更新策略,以解决联邦学习中因客户数据分布非独立同分布导致的性能限制问题。实验结果表明,该方法显著提升了模型在非IID环境下的收敛性和性能。

FedTLU: Federated Learning with Target Layer Updates

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-23T00:00:00Z

本研究提出HSEvo框架,旨在解决自动启发式设计中的多样性与收敛性平衡问题。通过优化搜索空间的新指标,实验结果表明HSEvo在保持高多样性的同时,显著提升了目标分数。

HSEvo: A Diversity-Driven Harmony Search and Genetic Algorithm for Enhancing Automatic Heuristic Design

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-19T00:00:00Z

本文探讨了高斯-牛顿动力学在平滑激活函数神经网络训练中的收敛性,证明了在欠参数化情况下,黎曼梯度流以指数速率收敛到最优预测器,展示了其在神经网络优化中的潜力。

神经网络的高斯-牛顿动力学:一个黎曼优化的视角

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-18T00:00:00Z

本文研究了多智能体去中心化优化问题,特别是非凸平滑函数和凸扩展值函数的最小化。基于Kurdyka-Łojasiewicz (KL)性质,证明了分散梯度跟踪算法SONATA的收敛性,并提供了不同情况下的收敛速率,为去中心化优化方法提供了强有力的收敛保证。

Enhancing Convergence of Decentralized Gradient Tracking under the KL Property

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-12T00:00:00Z

本研究提出了一种均方双重变差误差(MSBVE)算法,旨在解决跳跃状态下强化学习的鲁棒性和收敛性问题。研究结果表明,MSBVE在复杂环境中表现优于传统算法。

Robust Reinforcement Learning for Data with Jump Features Based on Diffusion Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-18T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码