如何更科学地估计矩阵的谱范数?

📝

内容提要

谱范数(Spectral Norm)是矩阵分析中的核心概念,在深度学习领域中也扮演着重要角色——从WGAN时代所需的Lipschitz约束,到如今LLM的训练稳定性,再到方兴未艾的Muon优化器...

➡️

继续阅读