本文讨论了随机矩阵的谱范数估计,得出结论:服从标准正态分布的$n imes m$随机矩阵的谱范数约为$ ext{sqrt}(n) + ext{sqrt}(m)$。通过近似方法和矩阵性质,提供了一种快速估计谱范数的思路,并指出该结果在大样本情况下非常准确。
本文探讨了在谱球面约束下求解Muon问题的方法,采用一阶近似简化约束形式。通过待定系数法和数值解法构建迭代方案,以满足约束条件并实现谱范数归一化。文章提供了练习机会,技术难度较低。
本文探讨了在正交约束下求解非方阵最速下降方向的方法,提出了一种基于迭代算法的解决方案,涉及矩阵谱范数和切空间的概念。通过数值算法和奇异值分解(SVD)技术,解决了优化问题,并比较了不同方法的效果。
本文探讨了Muon优化器的构建,首先在谱范数约束下进行矩阵参数的最速下降,然后引入正交约束以保持参数为正交矩阵,最终得出适用于正交性优化场景的更新规则。
研究者使用PAC-Bayesian框架为图卷积网络(GCN)和消息传递图神经网络提供了对抗鲁棒性泛化界限的结果。他们发现图上扩散矩阵的谱范数、权重的谱范数以及扰动因子决定了这两个模型的鲁棒性泛化界限。研究者还为GCN导出了更好的PAC-Bayesian鲁棒性泛化界限,避免了对最大节点度的指数依赖。
该论文使用PAC-Bayesian框架研究了图卷积网络和消息传递图神经网络的对抗鲁棒性泛化界限。结果表明,图上扩散矩阵的谱范数、权重的谱范数和扰动因子对这两个模型的鲁棒性泛化界限有影响。此外,该界限避免了在标准设置中对最大节点度的指数依赖。
完成下面两步后,将自动完成登录并继续当前操作。