本研究批判性审视了图机器学习中的常见信念,如过度平滑、过度挤压、同质性与异质性二元论及长范围任务。通过反例,旨在澄清这些误解,促进深入讨论。
本文探讨了图神经网络(GNN)中的过度平滑问题及其解决方案,提出了新的归一化层PairNorm和节点归一化技术NodeNorm。研究表明,合理的初始化和架构选择能显著提升GNN性能,并提出ATNPA框架以总结现有方法,为未来研究指明方向。
本文探讨了图神经网络(GNN)中的过度平滑问题及其解决方案,提出了新归一化层GraphNormv2和ATNPA框架。研究表明,当GNN层数超过8-10时,性能会下降,主要由于可训练性问题。通过理论分析和实验,提出限制梯度流的上界可以提升GNN的可训练性,为深度图模型的构建提供新思路。
本文提出了图随机神经网络框架GRAND,通过随机传播策略增强图数据,优化未标记节点的预测一致性。实验结果表明,该方法在半监督节点分类中优于现有的图神经网络,缓解了过度平滑和非鲁棒性问题,展现了更好的泛化能力。
本文介绍了多种图卷积网络(GCN)的改进方法,如Scattering GCN和Simple Contrastive Graph Clustering,旨在解决节点分类中的过度平滑问题并提升分类性能。研究表明,这些新方法在多个基准数据集上表现优越,具有实际应用价值。
本文探讨了图神经网络中的过度平滑问题,提出了新的卷积核 GCN+,并通过数学分析和实验验证了其在节点分类任务中的优越性能。同时,研究分析了不同模型的收敛过程,提出了 DropEdge 方法以缓解过平滑现象,并引入了基于多尺度热核的图神经网络 (MHKG),展示了其在处理图数据时的优势。
本文探讨了图神经网络中的过度平滑问题,并提出了多种解决方案,如改进的GCN训练技巧、Scattering GCN方法和DropEdge技术,以提高节点分类性能和泛化能力。研究表明,合理的模型结构和训练方法能有效缓解过度平滑现象,增强图卷积网络的表达能力和鲁棒性。
本文探讨了图神经网络(GNNs)在分子动力学和动态图建模中的应用,提出了新的框架和方法以解决现有模型的过度平滑和可扩展性问题,并总结了通过连续动态学改进GNNs的方式,提出了多个未来研究方向。
本文介绍了Kuramoto图神经网络(KuramotoGNN),一种新型深度图神经网络,旨在减轻过度平滑现象。通过Kuramoto模型,KuramotoGNN利用频率同步替代相位同步,防止节点特征收敛。实验证明其在多项图深度学习任务中优于传统GNN,具有广泛的应用潜力。
该文综述了利用离散曲率(如Ricci曲率)改进图神经网络的多项研究,包括随机连接网络修剪、缓解过度平滑、增强异质图适应性、统一标签传播与GNN框架以及基于曲率的图重连技术,这些方法均提升了性能与效率。
本文综述图卷积网络的稳定性与泛化研究:分析单层GCNN稳定性,提出卷积核最大特征值依赖规律;研究GCN收敛性与随机图稳定性;发现深层GCN泛化差并提出解耦结构;从优化角度解释过度平滑并提出GCN+;推导PAC-Bayesian泛化界与对抗鲁棒性界,避免最大节点度的指数依赖。
该文综述图神经网络与图卷积的研究进展,涵盖自适应核图神经网络AKGNN(通过数据驱动图核学习提升泛化与表达)、单隐层图神经网络的可证明有效学习算法及收敛分析、处理噪声边的图扩散卷积GDC、结合旋转与拓扑不变扩散算子的3D点云分类、捕获长短距离依赖的可变形GCN、用变分与总变差对齐图扩散模式并构建生成对抗网络预测传播流、从图信号处理角度分析GNN滤波器性质、利用图核函数进行特征学习、针对过度平滑的新方法,以及基于自适应图距离度量学习的灵活图卷积网络。
本文综述Transformer过度平滑问题:从图角度发现标准化层是关键,提出层次融合与简单修正项缓解;AttnScale和FeatScale克服ViT训练伪影;图滤波自注意力提升多领域性能;数学分析证明注意力机制无法避免过度平滑并指数丧失表达能力。
本研究从拓扑学角度理解深度图神经网络中的过度平滑和过度挤压问题,并提出了基于Ricci曲率边界的SJLR算法,以减轻这两个问题的影响并更好地理解它们。
完成下面两步后,将自动完成登录并继续当前操作。