小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文讨论了随机矩阵的谱范数估计,得出结论:服从标准正态分布的$n imes m$随机矩阵的谱范数约为$ ext{sqrt}(n) + ext{sqrt}(m)$。通过近似方法和矩阵性质,提供了一种快速估计谱范数的思路,并指出该结果在大样本情况下非常准确。

随机矩阵的谱范数的快速估计

科学空间|Scientific Spaces
科学空间|Scientific Spaces · 2025-10-12T13:52:00Z

本文探讨了在谱球面约束下求解Muon问题的方法,采用一阶近似简化约束形式。通过待定系数法和数值解法构建迭代方案,以满足约束条件并实现谱范数归一化。文章提供了练习机会,技术难度较低。

流形上的最速下降:4. Muon + 谱球面

科学空间|Scientific Spaces
科学空间|Scientific Spaces · 2025-08-21T13:04:00Z

本文探讨了在正交约束下求解非方阵最速下降方向的方法,提出了一种基于迭代算法的解决方案,涉及矩阵谱范数和切空间的概念。通过数值算法和奇异值分解(SVD)技术,解决了优化问题,并比较了不同方法的效果。

流形上的最速下降:3. Muon + Stiefel

科学空间|Scientific Spaces
科学空间|Scientific Spaces · 2025-08-08T05:08:00Z

本文探讨了Muon优化器的构建,首先在谱范数约束下进行矩阵参数的最速下降,然后引入正交约束以保持参数为正交矩阵,最终得出适用于正交性优化场景的更新规则。

流形上的最速下降:2. Muon + 正交

科学空间|Scientific Spaces
科学空间|Scientific Spaces · 2025-08-06T04:43:00Z

研究者使用PAC-Bayesian框架为图卷积网络(GCN)和消息传递图神经网络提供了对抗鲁棒性泛化界限的结果。他们发现图上扩散矩阵的谱范数、权重的谱范数以及扰动因子决定了这两个模型的鲁棒性泛化界限。研究者还为GCN导出了更好的PAC-Bayesian鲁棒性泛化界限,避免了对最大节点度的指数依赖。

图神经网络的 PAC-Bayesian 对抗鲁棒泛化界限

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-06T00:00:00Z

该论文使用PAC-Bayesian框架研究了图卷积网络和消息传递图神经网络的对抗鲁棒性泛化界限。结果表明,图上扩散矩阵的谱范数、权重的谱范数和扰动因子对这两个模型的鲁棒性泛化界限有影响。此外,该界限避免了在标准设置中对最大节点度的指数依赖。

单层图卷积网络的渐近泛化误差

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-06T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码