图神经网络中的排名崩溃导致过度平滑和过度相关
原文中文，约300字，阅读约需1分钟。发表于：。我们的研究揭示了深度图神经网络中的超平滑和特征过相关性的新的理论洞见。我们展示了不变子空间的普遍性，证明了固定的相对行为不受特征变换的影响。在线性场景中，这导致节点表示被低维子空间主导，其渐近收敛速率与特征变换无关，这导致节点表示的秩崩溃，从而在平滑向量跨越该子空间时产生超平滑，在避免超平滑的情况下产生超相关。根据我们的理论，我们提出了作为有益属性的 Kronecker...
本文研究了深度图神经网络中的超平滑和特征过相关性的新理论洞见。研究发现，节点表示受到低维子空间的影响，与特征变换无关。通过使用Kronecker乘积之和，可以防止超平滑、超相关和秩崩溃。实证研究证明现有模型无法捕捉线性独立特征。
