小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
联邦变分不等式的更快收敛速率

本文研究了联邦优化在随机变分不等式(VIs)中的应用,提出了改进的收敛速率。分析经典Local Extra SGD算法时发现其存在客户漂移问题,因此提出了新算法LIPPAX,有效减轻客户漂移并在多种情况下实现更好的收敛保证。此外,结果还扩展到联邦复合变分不等式,提供了改进的收敛保证。

联邦变分不等式的更快收敛速率

Apple Machine Learning Research
Apple Machine Learning Research · 2026-02-13T00:00:00Z

本文提出了一种新理论框架,解决晚融合多视角聚类中的噪声和冗余问题。通过分析多核$k$-均值的泛化误差边界,提升了收敛速率,并且低通图滤波策略显著提高了聚类的准确性和鲁棒性。

利用特征值比例的晚融合多视角聚类中的更严格错误边界

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-24T00:00:00Z

本研究提出了一种新的二阶联邦学习框架GP-FL,旨在降低通信成本。通过高斯过程建模黑塞矩阵,实验结果显示其在多个数据集上优于传统方法,具备线性-二次收敛速率。

GP-FL: Model-Based Hessian Matrix Estimation for Second-Order Federated Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-05T00:00:00Z
新的Adam改进实现任意β₂值下的最佳收敛

本文介绍了ADOPT算法,这是对Adam优化算法的改进,能够在任意β₂值下实现最佳收敛速率。作者提供了ADOPT收敛的理论保证,并在某些情况下显示其优于原始的Adam算法,提升了机器学习中优化算法的鲁棒性和可靠性。

新的Adam改进实现任意β₂值下的最佳收敛

DEV Community
DEV Community · 2024-11-09T07:03:46Z

本研究解决了k最近邻图拉普拉斯算子在流形数据中的收敛速率问题,提出了一种新方法,使每个点的收敛速率达到O(N^{-2/(d+6)}),显著提高了算法效率,并通过实验进行了验证。

kNN图拉普拉斯算子的收敛速率改进

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

该研究提出了一种新的在线镜面下降算法OMD-TCH,旨在解决多目标优化中线性标量化方法无法有效捕捉Pareto前沿非凸区域的问题。OMD-TCH的收敛速率为$O( ext{sqrt}( ext{log} m/T))$,并在联邦学习任务中表现出色。

多目标优化中的Tchebycheff标量化的在线镜面下降法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-29T00:00:00Z

本研究探讨了异构环境中深度联邦回归的泛化特性,发现内在维度对收敛速率至关重要,提出了新的误差率估计,并强调了客户间“接近性”的影响,扩展了深度联邦学习的理论框架。

深度联邦学习的统计分析:针对内在低维数据

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-28T00:00:00Z

本研究解决了马尔可夫决策过程中的价值函数有限样本有效性问题,确保了强化学习的可靠性,提出了高维概率收敛保证及边界,建立了更快的收敛速率,并设计了在线计算的渐近协方差矩阵估计器。

具有线性函数逼近的时间差学习的统计推断

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

本文研究了神经网络在二元分类中的性能,发现即使在无关维度下也能实现均匀收敛速率。分析表明,神经网络在处理复杂函数时具有优势,接近最优优化水平。

高维分类问题的维度无关学习率

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-26T00:00:00Z

本文阐述了深度神经网络在某些情况下为何表现更好,推导了使用ReLU激活的DNN估计器的泛化误差,说明了DNN的收敛速率几乎是最优的,为选择合适的DNN层数和边提供了指导。

基于多阶段学习和双重稳健深度神经网络的因果推断

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-11T00:00:00Z

本文阐述了深度神经网络在某些情况下表现更好的原因,并推导了使用ReLU激活函数的DNN估计器的泛化误差。同时指出DNN的收敛速率几乎是最优的,为选择合适的DNN层数和边提供了指导。

用平滑 l0 正则化的熵误差函数的 SGD 方法用于神经网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-28T00:00:00Z

本文介绍了VFBL框架及其三种新算法VF-B2-SGD、SVRG和SAGA,实验证明这些算法在强凸和非凸条件下具有收敛速率的理论结果,并证明了VF-B2的安全性。

通过数据增强和摊销推理实现可扩展的垂直联邦学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-07T00:00:00Z

本文研究了具有延迟更新的随机逼近方案的非渐近性能。研究发现,延迟的SA更新规则能够快速收敛到固定点周围的球体,减缓了最大延迟对收敛速率的影响,并且不需要关于延迟序列的先验知识来进行步长调整。这些理论发现对TD学习、Q学习和马尔可夫采样下的随机梯度下降等算法具有有限时间效果。

具有延迟更新的随机逼近:马尔科夫采样下的有限时间收敛速率

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-19T00:00:00Z

本研究提出了同伦松弛训练算法(HRTA),结合同伦激活函数和松弛同伦参数,加速神经网络的训练过程。在NTK背景下,该方法显著改善了收敛速率,尤其在较大宽度的网络中表现出潜力。

Run LoRA Run:更快更轻的 LoRA 实现

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-12-06T00:00:00Z

本文研究了解决线性反问题的优化问题的时间-数据权衡。通过最小化普通最小二乘目标的限制条件问题,提出了一个统一的收敛分析方法,针对不同的随机测量阵列,尖锐地表征了收敛速率。结果适用于凸和非凸约束条件,并表明在这些设置中可以达到线性收敛速率。在特定于高斯测量的情况下,当测量次数是恢复所需信号的最小次数的4倍时,会出现线性收敛。数值结果表明,所得到的速率与实际性能完全匹配。

使用逆规模空间流学习 Barron 函数的稀疏表示

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-12-05T00:00:00Z

该研究探讨了具有结构密度的重尾噪声的随机优化问题,证明了在随机梯度具有有限阶矩时可以获得更快的收敛速率,并使用平滑的中值均值稳定随机梯度来实现这些结果。同时,该研究还将其纳入剪辑随机梯度下降和剪辑随机次梯度均值,并推导出了新的高概率复杂度界限。

突破随机优化问题中的重尾噪声障碍

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-07T00:00:00Z

本文探讨了深度神经网络相比其他模型表现更好的原因,通过考虑一定类别的非光滑函数,推导了使用 ReLU 激活的 DNN 的估计器的泛化误差,同时说明了 DNN 的收敛速率几乎是最优的,为选择合适的 DNN 层数和边提供了指导。

通过非线性透视理解深度神经网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-17T00:00:00Z

该文介绍了使用深度卷积神经网络和球谐分析的物理信息的卷积神经网络(PICNN)在球面上求解偏微分方程的数值性能,并证明了其与 Sobolev 范数的逼近误差的上界。同时,建立了 PICNN 的快速收敛速率。作者还探讨了解决高维 PDEs 时出现的维度诅咒的潜在策略。

基于物理信息的具有 Gabor 基函数的神经波场

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-16T00:00:00Z

该研究提出了两种新的拜占庭容错化方法,能够在非凸和 Polyak-Lojasiewicz 平滑优化问题中具有更好的收敛速率、更小的邻域大小以及更能容忍拜占庭节点。同时,还开发了带有压缩和误差反馈的第一种拜占庭容错化方法,并推导了这些方法在非凸和 Polyak-Lojasiewicz 平滑情况下的收敛速率,并通过数值实验证明了理论发现。

拜占庭强健学习的通信压缩:新的高效算法和改进的速率

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-15T00:00:00Z

该文介绍了一种基于自适应步长的 SGD 变体 $ exttt {SPS}_+$,并展示了其在 Lipschitz 非平滑中实现了已知的最优收敛速率。同时,该文还提出了 $ exttt {FUVAL}$ 的变体,逐渐学习最优情况下的损失值,并以三个视角介绍了其作为一种基于投影的方法、近似线性方法的变体以及特定的在线 SGD 方法。然而,该方法的收敛性分析没有比 SGD 更具优势,且目前只有全批次版本在步长敏感性方面相对于 GD 有轻微优势,随机版本相对于 SGD 没有明显优势。作者猜测需要较大的小批量数据才能使该方法具有竞争力。

带预处理的 Polyak 步长的随机梯度下降

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-03T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码