如何更科学地估计矩阵的谱范数?
📝
内容提要
谱范数(Spectral Norm)是矩阵分析中的核心概念,在深度学习领域中也扮演着重要角色——从WGAN时代所需的Lipschitz约束,到如今LLM的训练稳定性,再到方兴未艾的Muon优化器...
➡️
谱范数(Spectral Norm)是矩阵分析中的核心概念,在深度学习领域中也扮演着重要角色——从WGAN时代所需的Lipschitz约束,到如今LLM的训练稳定性,再到方兴未艾的Muon优化器...