本文研究了联邦优化在随机变分不等式(VIs)中的应用,提出了改进的收敛速率。分析经典Local Extra SGD算法时发现其存在客户漂移问题,因此提出了新算法LIPPAX,有效减轻客户漂移并在多种情况下实现更好的收敛保证。此外,结果还扩展到联邦复合变分不等式,提供了改进的收敛保证。
本文提出了一种新理论框架,解决晚融合多视角聚类中的噪声和冗余问题。通过分析多核$k$-均值的泛化误差边界,提升了收敛速率,并且低通图滤波策略显著提高了聚类的准确性和鲁棒性。
本研究提出了一种新的二阶联邦学习框架GP-FL,旨在降低通信成本。通过高斯过程建模黑塞矩阵,实验结果显示其在多个数据集上优于传统方法,具备线性-二次收敛速率。
本文介绍了ADOPT算法,这是对Adam优化算法的改进,能够在任意β₂值下实现最佳收敛速率。作者提供了ADOPT收敛的理论保证,并在某些情况下显示其优于原始的Adam算法,提升了机器学习中优化算法的鲁棒性和可靠性。
本研究改进了k最近邻(kNN)图拉普拉斯算子的收敛速率。通过引入加权边和核化图亲和力,提出了一种新的收敛分析方法,使每个点的收敛速率达到O(N^{-2/(d+6)}),显著提高了算法效率,并通过数值实验验证了理论结果。
本研究解决了马尔可夫决策过程中的价值函数有限样本有效性问题,确保了强化学习的可靠性,提出了高维概率收敛保证及边界,建立了更快的收敛速率,并设计了在线计算的渐近协方差矩阵估计器。
该研究探讨了高维非凸优化中的算法复杂性,提出了无导数算法和基于函数值的优化方法,分析了收敛速率及其在动态环境中的在线优化表现和复杂度自适应性。
本文探讨了深度神经网络(DNN)在特定情况下的优越性,分析了使用ReLU激活的DNN的泛化误差和收敛速率。研究表明,DNN在图像分类等任务中表现出色,并提出了一种新算法来训练ReLU DNN,提升了函数逼近的效果。此外,文章讨论了深度学习的几何框架及其与物理学的结合,为未来神经网络结构提供了理论指导。
本文探讨了蒙特卡罗树搜索(MCTS)在优化和强化学习中的应用,提出了多种改进算法以提高收敛速率和探索能力。研究表明,这些新方法在复杂问题上表现优越,显著提升了计算效率和解的质量。
本文探讨了随机梯度下降算法在未知线性时不变动态系统中的应用,证明其能高效收敛于全局极值。尽管目标函数非凸,研究提供了多项式运行时间和样本复杂度的界限,首次为该问题提供多项式保证。同时,讨论了影响收敛的因素,并提出了结合适应性与方差约减技术的高效分布式随机优化方法,实现了最优收敛速率。
本文综述线性双时间尺度随机逼近的有限时间分析,涵盖马尔可夫与鞅噪声下的收敛速率、SARSA及TD学习等算法的样本复杂度、异步与分布式优化,以及非独立同分布数据下的误差界。
该文综述神经网络优化与泛化研究,涵盖:ReLU网络无虚假局部极小且损失可任意小;DNN收敛速率近最优;常见损失在实现空间凸;提出可微代理函数训练非可微目标;惰性训练不适用于深度卷积网络;研究差分隐私随机优化及梯度下降隐式偏差;指出固定尺寸函数集高度非凸等不良性质;两层网络梯度下降可全局线性收敛。
针对非独立同分布移动环境下分布式SGD的通信瓶颈,本文分析非均匀梯度压缩对收敛速率的影响,将相对压缩率分配建模为卡方非线性优化问题,提出DAGC-R(大数据量节点采用保守压缩率)和计算更省、更鲁棒的DAGC-A。实验表明,二者在数据量高度不平衡且通信受限时性能更优。
该文综述双时间尺度随机逼近研究:线性方法在马尔可夫与鞅噪声下收敛速率无差别,仅混合时间影响常数,并给出匹配下界;非线性及异步算法获得有限样本收敛界,应用于Q学习、GTD等,达到或优于已有速率。
本研究提出了同伦松弛训练算法(HRTA),结合同伦激活函数和松弛同伦参数,加速神经网络的训练过程。在NTK背景下,该方法显著改善了收敛速率,尤其在较大宽度的网络中表现出潜力。
本文研究了解决线性反问题的优化问题的时间-数据权衡。通过最小化普通最小二乘目标的限制条件问题,提出了一个统一的收敛分析方法,针对不同的随机测量阵列,尖锐地表征了收敛速率。结果适用于凸和非凸约束条件,并表明在这些设置中可以达到线性收敛速率。在特定于高斯测量的情况下,当测量次数是恢复所需信号的最小次数的4倍时,会出现线性收敛。数值结果表明,所得到的速率与实际性能完全匹配。
该研究探讨了具有结构密度的重尾噪声的随机优化问题,证明了在随机梯度具有有限阶矩时可以获得更快的收敛速率,并使用平滑的中值均值稳定随机梯度来实现这些结果。同时,该研究还将其纳入剪辑随机梯度下降和剪辑随机次梯度均值,并推导出了新的高概率复杂度界限。
本文探讨了深度神经网络相比其他模型表现更好的原因,通过考虑一定类别的非光滑函数,推导了使用 ReLU 激活的 DNN 的估计器的泛化误差,同时说明了 DNN 的收敛速率几乎是最优的,为选择合适的 DNN 层数和边提供了指导。
该文介绍了使用深度卷积神经网络和球谐分析的物理信息的卷积神经网络(PICNN)在球面上求解偏微分方程的数值性能,并证明了其与 Sobolev 范数的逼近误差的上界。同时,建立了 PICNN 的快速收敛速率。作者还探讨了解决高维 PDEs 时出现的维度诅咒的潜在策略。
该研究提出了两种新的拜占庭容错化方法,能够在非凸和 Polyak-Lojasiewicz 平滑优化问题中具有更好的收敛速率、更小的邻域大小以及更能容忍拜占庭节点。同时,还开发了带有压缩和误差反馈的第一种拜占庭容错化方法,并推导了这些方法在非凸和 Polyak-Lojasiewicz 平滑情况下的收敛速率,并通过数值实验证明了理论发现。
完成下面两步后,将自动完成登录并继续当前操作。