小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究探讨了Polyak-Lojasiewicz不等式的广义及其对优化问题中梯度流行为的影响,指出了文献中较弱PLI版本的不足。研究表明,成本函数的不等式类型显著影响梯度流解的特征,为CT-LQR政策优化提供了新的理论框架。

关于Polyak-Lojasiewicz不等式及其对梯度系统收敛性的影响的探讨

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-31T00:00:00Z

本文研究了经过梯度流训练的单隐藏层ReLU网络在$n$个数据点上的收敛性,发现宽度为$ ext{log}(n)$的网络能够高概率实现全局收敛,并揭示了收敛速度的渐近特征。

弱交互数据上浅层ReLU网络的收敛性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-24T00:00:00Z

研究了离散折扣马尔可夫决策过程中的熵正则化误差,证明其在逆正则强度下以指数级别减小,并提供了梯度流与最优策略的关系,显示整体误差随迭代次数的平方根呈指数衰减。

基于Csiszár类型Tsallis熵的神经网络优化线性化势函数设计

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

本研究分析自注意力模型中的动态亚稳态现象,发现粒子最终会聚集成一个簇,但可能在多个簇的状态下长时间停留。通过梯度流和慢运动框架,揭示在适当时间缩放下,能量在有限时间内达到全局最大值,并呈现阶梯状特征。

Dynamic Metastability in Self-Attention Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-09T00:00:00Z

本文研究了一种使用贝叶斯统计方法的对抗性攻击方法,通过连续时间粒子系统 Abram 来近似梯度流,并证明了 Abram 近似于 McKean-Vlasov 过程。研究展示了该方法在对抗深度学习实验中的适用性。

如何战胜贝叶斯对手

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-11T00:00:00Z

本文研究了基于梯度流的采样方法的设计要素,包括能量函数、度量和梯度流的数值近似。通过展示Kullback-Leibler散度的独特性质,研究了度量的选择。提出了基于高斯近似的梯度流方法,并与参数变分推断衍生的梯度方法建立了联系。研究了它们的收敛性。

Wasserstein 梯度流的 Forward-Euler 时间离散可能存在问题

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-12T00:00:00Z

本文研究了基于梯度流的采样方法的设计要素,包括能量函数、度量和梯度流的数值近似。通过展示Kullback-Leibler散度的独特性质,研究了度量的选择,并构建了各种仿射不变的梯度流。提出了基于高斯近似的梯度流方法,并研究了其收敛性。

最优概率测度分解的 Wasserstein 梯度流

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-03T00:00:00Z

本文研究了基于梯度流的采样方法的设计要素,包括能量函数、度量和梯度流的数值近似。通过展示Kullback-Leibler散度的独特性质,研究了度量的选择,并构建了各种仿射不变的梯度流。提出了基于高斯近似的梯度流方法,并研究了其收敛性。

再生核希尔伯特空间中 f - 散度的 Moreau 衬度的 Wasserstein 梯度流

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-07T00:00:00Z

该研究提出了一种基于梯度流的无参数算法,用于学习复杂数据集的潜在分布和从中进行抽样。该算法建立在隐式生成建模与最优输运之间的联系理论基础上,并通过泛函优化问题的方式得以实现。实验结果表明,该算法能够成功地捕捉不同类型的数据分布结构。

离散概率流通过最优传输的构建

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-07T00:00:00Z

该文研究了针对凸目标函数的梯度流、加速梯度下降和随机梯度下降优化方法。研究发现,梯度流在希尔伯特空间中最优,但收敛缓慢;在有限维空间中,存在凸函数的梯度流曲线,其减小速度比任何单调递减且在无穷远处可积的给定函数更慢。类似的结果也适用于离散时间梯度下降、具有乘积噪声的随机梯度下降和重球 ODE 问题。

有限维与无限维希尔伯特空间中凸函数的梯度流的定性差异

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-26T00:00:00Z

该研究提出了一种基于梯度流的无参数算法,用于学习复杂数据集的潜在分布和从中进行抽样。实验结果表明,该算法能够成功地捕捉不同类型的数据分布结构。

通过 Wasserstein 空间中的近端梯度下降实现基于流的生成模型的收敛

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-26T00:00:00Z

本文研究了基于梯度流的采样方法的设计要素,包括能量函数、度量和梯度流的数值近似。研究表明,Kullback-Leibler散度作为能量函数具有独特性质,度量的选择从不变性的角度出发,构建了各种仿射不变的Wasserstein和Stein梯度流。提出了基于高斯近似的梯度流方法,并与参数变分推断衍生的梯度方法建立了联系,研究了它们的收敛性。

概率测度空间中的梯度流采样

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-05T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码