小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
联邦变分不等式的更快收敛速率

本文研究了联邦优化在随机变分不等式(VIs)中的应用,提出了改进的收敛速率。分析经典Local Extra SGD算法时发现其存在客户漂移问题,因此提出了新算法LIPPAX,有效减轻客户漂移并在多种情况下实现更好的收敛保证。此外,结果还扩展到联邦复合变分不等式,提供了改进的收敛保证。

联邦变分不等式的更快收敛速率

Apple Machine Learning Research Apple Machine Learning Research · 2026-02-13T00:00:00Z

本文提出了一种新理论框架,解决晚融合多视角聚类中的噪声和冗余问题。通过分析多核$k$-均值的泛化误差边界,提升了收敛速率,并且低通图滤波策略显著提高了聚类的准确性和鲁棒性。

利用特征值比例的晚融合多视角聚类中的更严格错误边界

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-24T00:00:00Z

本研究提出了一种新的二阶联邦学习框架GP-FL,旨在降低通信成本。通过高斯过程建模黑塞矩阵,实验结果显示其在多个数据集上优于传统方法,具备线性-二次收敛速率。

GP-FL: Model-Based Hessian Matrix Estimation for Second-Order Federated Learning

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-05T00:00:00Z
新的Adam改进实现任意β₂值下的最佳收敛

本文介绍了ADOPT算法,这是对Adam优化算法的改进,能够在任意β₂值下实现最佳收敛速率。作者提供了ADOPT收敛的理论保证,并在某些情况下显示其优于原始的Adam算法,提升了机器学习中优化算法的鲁棒性和可靠性。

新的Adam改进实现任意β₂值下的最佳收敛

DEV Community DEV Community · 2024-11-09T07:03:46Z

本研究改进了k最近邻(kNN)图拉普拉斯算子的收敛速率。通过引入加权边和核化图亲和力,提出了一种新的收敛分析方法,使每个点的收敛速率达到O(N^{-2/(d+6)}),显著提高了算法效率,并通过数值实验验证了理论结果。

Improvement of the Convergence Rate of kNN Graph Laplacians

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

本研究解决了马尔可夫决策过程中的价值函数有限样本有效性问题,确保了强化学习的可靠性,提出了高维概率收敛保证及边界,建立了更快的收敛速率,并设计了在线计算的渐近协方差矩阵估计器。

具有线性函数逼近的时间差学习的统计推断

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

该研究探讨了高维非凸优化中的算法复杂性,提出了无导数算法和基于函数值的优化方法,分析了收敛速率及其在动态环境中的在线优化表现和复杂度自适应性。

优化平滑函数所需的比较

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-19T00:00:00Z

本文探讨了深度神经网络(DNN)在特定情况下的优越性,分析了使用ReLU激活的DNN的泛化误差和收敛速率。研究表明,DNN在图像分类等任务中表现出色,并提出了一种新算法来训练ReLU DNN,提升了函数逼近的效果。此外,文章讨论了深度学习的几何框架及其与物理学的结合,为未来神经网络结构提供了理论指导。

深度学习作为 Ricci 流

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-22T00:00:00Z

本文探讨了蒙特卡罗树搜索(MCTS)在优化和强化学习中的应用,提出了多种改进算法以提高收敛速率和探索能力。研究表明,这些新方法在复杂问题上表现优越,显著提升了计算效率和解的质量。

蒙特卡洛搜索算法 探索蒙特卡洛树搜索 探索术语

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-14T00:00:00Z

本文探讨了随机梯度下降算法在未知线性时不变动态系统中的应用,证明其能高效收敛于全局极值。尽管目标函数非凸,研究提供了多项式运行时间和样本复杂度的界限,首次为该问题提供多项式保证。同时,讨论了影响收敛的因素,并提出了结合适应性与方差约减技术的高效分布式随机优化方法,实现了最优收敛速率。

通过梯度下降学习随机人口模型

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-10T00:00:00Z

本文综述线性双时间尺度随机逼近的有限时间分析,涵盖马尔可夫与鞅噪声下的收敛速率、SARSA及TD学习等算法的样本复杂度、异步与分布式优化,以及非独立同分布数据下的误差界。

具有延迟更新的随机逼近:马尔科夫采样下的有限时间收敛速率

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-19T00:00:00Z

该文综述神经网络优化与泛化研究,涵盖:ReLU网络无虚假局部极小且损失可任意小;DNN收敛速率近最优;常见损失在实现空间凸;提出可微代理函数训练非可微目标;惰性训练不适用于深度卷积网络;研究差分隐私随机优化及梯度下降隐式偏差;指出固定尺寸函数集高度非凸等不良性质;两层网络梯度下降可全局线性收敛。

非可微对神经网络训练的三种影响

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-16T00:00:00Z

针对非独立同分布移动环境下分布式SGD的通信瓶颈,本文分析非均匀梯度压缩对收敛速率的影响,将相对压缩率分配建模为卡方非线性优化问题,提出DAGC-R(大数据量节点采用保守压缩率)和计算更省、更鲁棒的DAGC-A。实验表明,二者在数据量高度不平衡且通信受限时性能更优。

MGARD:用于高性能、误差控制的数据压缩和重构的多格框架

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-11T00:00:00Z

该文综述双时间尺度随机逼近研究:线性方法在马尔可夫与鞅噪声下收敛速率无差别,仅混合时间影响常数,并给出匹配下界;非线性及异步算法获得有限样本收敛界,应用于Q学习、GTD等,达到或优于已有速率。

具有马尔可夫噪声的双时间尺度线性随机逼近的紧限定时间界

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-12-31T00:00:00Z

本研究提出了同伦松弛训练算法(HRTA),结合同伦激活函数和松弛同伦参数,加速神经网络的训练过程。在NTK背景下,该方法显著改善了收敛速率,尤其在较大宽度的网络中表现出潜力。

Run LoRA Run:更快更轻的 LoRA 实现

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-12-06T00:00:00Z

本文研究了解决线性反问题的优化问题的时间-数据权衡。通过最小化普通最小二乘目标的限制条件问题,提出了一个统一的收敛分析方法,针对不同的随机测量阵列,尖锐地表征了收敛速率。结果适用于凸和非凸约束条件,并表明在这些设置中可以达到线性收敛速率。在特定于高斯测量的情况下,当测量次数是恢复所需信号的最小次数的4倍时,会出现线性收敛。数值结果表明,所得到的速率与实际性能完全匹配。

使用逆规模空间流学习 Barron 函数的稀疏表示

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-12-05T00:00:00Z

该研究探讨了具有结构密度的重尾噪声的随机优化问题,证明了在随机梯度具有有限阶矩时可以获得更快的收敛速率,并使用平滑的中值均值稳定随机梯度来实现这些结果。同时,该研究还将其纳入剪辑随机梯度下降和剪辑随机次梯度均值,并推导出了新的高概率复杂度界限。

突破随机优化问题中的重尾噪声障碍

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-11-07T00:00:00Z

本文探讨了深度神经网络相比其他模型表现更好的原因,通过考虑一定类别的非光滑函数,推导了使用 ReLU 激活的 DNN 的估计器的泛化误差,同时说明了 DNN 的收敛速率几乎是最优的,为选择合适的 DNN 层数和边提供了指导。

通过非线性透视理解深度神经网络

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-17T00:00:00Z

该文介绍了使用深度卷积神经网络和球谐分析的物理信息的卷积神经网络(PICNN)在球面上求解偏微分方程的数值性能,并证明了其与 Sobolev 范数的逼近误差的上界。同时,建立了 PICNN 的快速收敛速率。作者还探讨了解决高维 PDEs 时出现的维度诅咒的潜在策略。

基于物理信息的具有 Gabor 基函数的神经波场

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-16T00:00:00Z

该研究提出了两种新的拜占庭容错化方法,能够在非凸和 Polyak-Lojasiewicz 平滑优化问题中具有更好的收敛速率、更小的邻域大小以及更能容忍拜占庭节点。同时,还开发了带有压缩和误差反馈的第一种拜占庭容错化方法,并推导了这些方法在非凸和 Polyak-Lojasiewicz 平滑情况下的收敛速率,并通过数值实验证明了理论发现。

拜占庭强健学习的通信压缩:新的高效算法和改进的速率

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-15T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码