图神经网络入门(GNN)

图神经网络入门(GNN)

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

图卷积网络用邻接矩阵处理不定邻居,以拉普拉斯矩阵特征向量为傅立叶基实现卷积,并用切比雪夫近似降低矩阵分解复杂度。但GNN倾向平滑节点特征,主要提取低频信息,削弱异常节点的高频表达。为此,提出用不同频次滤波器抽取特征,再经attention融合,显著提升异常检测效果,达到新SOTA。

🔎

延伸解读

图卷积为何依赖拉普拉斯矩阵

图结构数据中,每个节点的邻居数量不固定,无法直接套用CNN的固定卷积核。文章指出,通过邻接矩阵将所有节点信息输入,不连接的置零,可统一处理。进一步,利用拉普拉斯矩阵L=D-A,其实对称性保证可对角化,特征向量作为傅立叶基,从而在图上实现卷积。这解释了图卷积的数学基础,也带来矩阵分解的高复杂度问题。

GNN的低频偏好与异常检测瓶颈

GNN在消息传递中倾向于平滑节点特征,导致主要提取低频信息。文章解释,正常节点特征平缓对应低频,异常节点特征陡峭对应高频。平滑操作会削弱异常节点的高频表达,从而降低异常检测效果。这一发现揭示了GNN在异常检测任务中的固有局限,即过度平滑可能掩盖关键异常信号。

多频滤波器与注意力融合的改进思路

为克服GNN的低频偏好,文章提出使用不同频次的滤波器抽取特征,再通过attention机制融合。这样既能保留低频信息,又能捕捉高频异常特征,显著提升异常检测性能,达到新的SOTA。该思路表明,针对特定任务调整GNN的频率响应是有效的改进方向,而非单纯加深网络。

高低频特征的理解与验证

文章将图信号表示为拉普拉斯矩阵特征向量的线性组合,特征值越大对应特征向量越振荡(高频),反之越平滑(低频)。节点特征在高频分量上的投影越大,则高频成分越多。实验验证:不断添加频率分量重构特征,当添加比例超过一定阈值时,节点分类效果开始下降,说明有效信息主要集中在低频部分。

❓

Q&A

图卷积神经网络是怎么处理节点邻居数量不固定的问题的?

图卷积网络利用邻接矩阵,将每个节点的信息都输入,对于不连接的节点,将其信息置为0,从而统一处理不同数量的邻居。

图卷积中如何利用拉普拉斯矩阵进行卷积操作?

首先通过图的邻接矩阵获得拉普拉斯矩阵,然后对拉普拉斯矩阵进行分解,得到特征向量作为正交基,即傅立叶变换的基。利用这些正交基进行傅立叶变换,将卷积核与图信号变换后的结果相乘,再求逆变换,得到两个函数的卷积。

为什么GNN倾向于提取低频特征,这对异常检测有什么影响?

GNN在传播过程中会平滑节点之间的特征,使得正常节点的特征趋于平缓(低频),而异常节点的特征较为陡峭(高频)。这种平滑作用会削弱异常节点的高频信息表达,导致异常检测效果下降。

如何改进GNN以更好地检测异常节点?

提出使用不同频次的滤波器来抽取特征,再通过attention机制进行信息融合,从而更好地表达异常节点的特征,显著提升异常检测效果,达到新的SOTA。

图卷积中为什么要用切比雪夫近似?

因为直接对拉普拉斯矩阵进行特征分解复杂度太高,用特征值的多项式代替卷积核,可以避免矩阵分解,降低计算复杂度。切比雪夫近似是其中一种有效的多项式近似方法。

图上信号的高频和低频特征分别代表什么?

图上信号可以表示为拉普拉斯矩阵特征向量的线性组合。特征值越大,对应的特征向量越振荡,代表高频特征;特征值越小,特征向量越平滑,代表低频特征。信号在高频特征向量上的分量越大,则高频特征越明显。

🏷️

标签

➡️

继续阅读