BriefGPT - AI 论文速递
·
图神经网络中的排名崩溃导致过度平滑和过度相关
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文研究了深度图神经网络中的超平滑和特征过相关性的新理论洞见。研究发现，节点表示受到低维子空间的影响，与特征变换无关。通过使用Kronecker乘积之和，可以防止超平滑、超相关和秩崩溃。实证研究证明现有模型无法捕捉线性独立特征。
🎯
关键要点
-
研究揭示了深度图神经网络中的超平滑和特征过相关性的新的理论洞见。
-
不变子空间的普遍性证明了固定的相对行为不受特征变换的影响。
-
在低维子空间主导的线性场景中，节点表示的渐近收敛速率与特征变换无关。
-
节点表示的秩崩溃导致超平滑和超相关现象。
-
提出了Kronecker乘积之和作为防止超平滑、超相关和秩崩溃的有益属性。
-
实证研究表明现有模型无法捕捉线性独立特征。
➡️
