KAN：科尔莫哥洛夫－阿诺德网络
内容提要
本文研究了多种神经网络架构，包括Kronecker神经网络、图增强多层感知器（GA-MLP）和求和积网络（SPN）。研究表明，GA-MLP在特定条件下能有效区分非同构图，但其表达能力不及图神经网络（GNN）。Kolmogorov模型展示了深度网络在函数逼近中的优势，提出的无图依赖神经网络（GLNNs）在速度和准确性上优于GNN。
延伸解读
GA-MLP 与 GNN 的表达能力对比
文章指出，GA-MLP 在采用适当多跳算子时，能像 WL 测试一样区分几乎所有非同构图，但其表达能力仍不及 GNN，且差距随深度增加呈指数增长。GA-MLP 无法计算属性步行的数量，说明其受算子族选择限制，学习灵活性低于 GNN。社区检测实验也证实了这一局限。
Kolmogorov 模型与深度网络逼近优势
Kolmogorov 两层神经网络模型表明，第二隐藏层使用连续、不连续有界或无界激活函数可精确表示相应函数类。深度网络的 Kolmogorov 最优逼近性提供了指数级逼近精度，且逼近足够光滑函数时，有限宽深层网络比有限宽深网络需要更小的连通性。
GLNNs 的实用价值与适用场景
通过知识蒸馏结合 GNN 和 MLP 提出的 GLNNs，在 7 个数据集的生产环境中比 GNN 更快且准确率接近。这种无图依赖的特性使其适用于延迟受限的应用程序，为需要快速推理的场景提供了可行方案。
Q&A
什么是Kronecker神经网络，它有什么优势？
Kronecker神经网络采用Kronecker乘积，提供了一种构造宽网络的有效方式，同时保持低参数数量。
GA-MLP与图神经网络（GNN）相比有什么不足之处？
GA-MLP在表达能力上不及GNN，且随着深度增加，二者的差距呈指数增长。
Kolmogorov模型在函数逼近中有什么优势？
Kolmogorov模型展示了深度网络在函数逼近中的优势，提供了指数级的逼近精度。
无图依赖神经网络（GLNNs）适合于哪些应用？
GLNNs在速度和准确性上优于GNN，适用于延迟受限的应用程序。
求和积网络（SPN）有什么特点？
SPN通过学习和推理实现比标准深层网络更快和更准确的图形建模推理。
GA-MLP如何增强节点特征？
GA-MLP通过图上的多跳算子增强节点特征，然后以节点方式应用多层感知器（MLP）。
