本文研究了联邦优化在随机变分不等式(VIs)中的应用,提出了改进的收敛速率。分析经典Local Extra SGD算法时发现其存在客户漂移问题,因此提出了新算法LIPPAX,有效减轻客户漂移并在多种情况下实现更好的收敛保证。此外,结果还扩展到联邦复合变分不等式,提供了改进的收敛保证。
本文提出了一种新理论框架,解决晚融合多视角聚类中的噪声和冗余问题。通过分析多核$k$-均值的泛化误差边界,提升了收敛速率,并且低通图滤波策略显著提高了聚类的准确性和鲁棒性。
本研究提出了一种新的二阶联邦学习框架GP-FL,旨在降低通信成本。通过高斯过程建模黑塞矩阵,实验结果显示其在多个数据集上优于传统方法,具备线性-二次收敛速率。
本文介绍了ADOPT算法,这是对Adam优化算法的改进,能够在任意β₂值下实现最佳收敛速率。作者提供了ADOPT收敛的理论保证,并在某些情况下显示其优于原始的Adam算法,提升了机器学习中优化算法的鲁棒性和可靠性。
本研究解决了k最近邻图拉普拉斯算子在流形数据中的收敛速率问题,提出了一种新方法,使每个点的收敛速率达到O(N^{-2/(d+6)}),显著提高了算法效率,并通过实验进行了验证。
该研究提出了一种新的在线镜面下降算法OMD-TCH,旨在解决多目标优化中线性标量化方法无法有效捕捉Pareto前沿非凸区域的问题。OMD-TCH的收敛速率为$O( ext{sqrt}( ext{log} m/T))$,并在联邦学习任务中表现出色。
本研究探讨了异构环境中深度联邦回归的泛化特性,发现内在维度对收敛速率至关重要,提出了新的误差率估计,并强调了客户间“接近性”的影响,扩展了深度联邦学习的理论框架。
本研究解决了马尔可夫决策过程中的价值函数有限样本有效性问题,确保了强化学习的可靠性,提出了高维概率收敛保证及边界,建立了更快的收敛速率,并设计了在线计算的渐近协方差矩阵估计器。
本文研究了神经网络在二元分类中的性能,发现即使在无关维度下也能实现均匀收敛速率。分析表明,神经网络在处理复杂函数时具有优势,接近最优优化水平。
本文阐述了深度神经网络在某些情况下为何表现更好,推导了使用ReLU激活的DNN估计器的泛化误差,说明了DNN的收敛速率几乎是最优的,为选择合适的DNN层数和边提供了指导。
本文阐述了深度神经网络在某些情况下表现更好的原因,并推导了使用ReLU激活函数的DNN估计器的泛化误差。同时指出DNN的收敛速率几乎是最优的,为选择合适的DNN层数和边提供了指导。
本文介绍了VFBL框架及其三种新算法VF-B2-SGD、SVRG和SAGA,实验证明这些算法在强凸和非凸条件下具有收敛速率的理论结果,并证明了VF-B2的安全性。
本文研究了具有延迟更新的随机逼近方案的非渐近性能。研究发现,延迟的SA更新规则能够快速收敛到固定点周围的球体,减缓了最大延迟对收敛速率的影响,并且不需要关于延迟序列的先验知识来进行步长调整。这些理论发现对TD学习、Q学习和马尔可夫采样下的随机梯度下降等算法具有有限时间效果。
本研究提出了同伦松弛训练算法(HRTA),结合同伦激活函数和松弛同伦参数,加速神经网络的训练过程。在NTK背景下,该方法显著改善了收敛速率,尤其在较大宽度的网络中表现出潜力。
本文研究了解决线性反问题的优化问题的时间-数据权衡。通过最小化普通最小二乘目标的限制条件问题,提出了一个统一的收敛分析方法,针对不同的随机测量阵列,尖锐地表征了收敛速率。结果适用于凸和非凸约束条件,并表明在这些设置中可以达到线性收敛速率。在特定于高斯测量的情况下,当测量次数是恢复所需信号的最小次数的4倍时,会出现线性收敛。数值结果表明,所得到的速率与实际性能完全匹配。
该研究探讨了具有结构密度的重尾噪声的随机优化问题,证明了在随机梯度具有有限阶矩时可以获得更快的收敛速率,并使用平滑的中值均值稳定随机梯度来实现这些结果。同时,该研究还将其纳入剪辑随机梯度下降和剪辑随机次梯度均值,并推导出了新的高概率复杂度界限。
本文探讨了深度神经网络相比其他模型表现更好的原因,通过考虑一定类别的非光滑函数,推导了使用 ReLU 激活的 DNN 的估计器的泛化误差,同时说明了 DNN 的收敛速率几乎是最优的,为选择合适的 DNN 层数和边提供了指导。
该文介绍了使用深度卷积神经网络和球谐分析的物理信息的卷积神经网络(PICNN)在球面上求解偏微分方程的数值性能,并证明了其与 Sobolev 范数的逼近误差的上界。同时,建立了 PICNN 的快速收敛速率。作者还探讨了解决高维 PDEs 时出现的维度诅咒的潜在策略。
该研究提出了两种新的拜占庭容错化方法,能够在非凸和 Polyak-Lojasiewicz 平滑优化问题中具有更好的收敛速率、更小的邻域大小以及更能容忍拜占庭节点。同时,还开发了带有压缩和误差反馈的第一种拜占庭容错化方法,并推导了这些方法在非凸和 Polyak-Lojasiewicz 平滑情况下的收敛速率,并通过数值实验证明了理论发现。
该文介绍了一种基于自适应步长的 SGD 变体 $ exttt {SPS}_+$,并展示了其在 Lipschitz 非平滑中实现了已知的最优收敛速率。同时,该文还提出了 $ exttt {FUVAL}$ 的变体,逐渐学习最优情况下的损失值,并以三个视角介绍了其作为一种基于投影的方法、近似线性方法的变体以及特定的在线 SGD 方法。然而,该方法的收敛性分析没有比 SGD 更具优势,且目前只有全批次版本在步长敏感性方面相对于 GD 有轻微优势,随机版本相对于 SGD 没有明显优势。作者猜测需要较大的小批量数据才能使该方法具有竞争力。
完成下面两步后,将自动完成登录并继续当前操作。