InfoQ
·
大学研究人员创建新型可解释神经网络
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
麻省理工学院、加州理工学院和东北大学的研究人员创建了一种新型神经网络：KAN。KAN模型在物理建模任务上表现优于基于感知器的模型，并提供了更可解释的可视化。研究人员将KAN与传统的多层感知器（MLP）神经网络在物理和数学建模任务上的性能进行了比较，发现KAN在更少的参数下实现了更好的准确性。KAN的激活函数可帮助用户发现能够表示所建模物理过程的符号公式。KAN具有类似于MLP的结构，但不是为每个输入学习权重，而是学习样条函数。研究人员创建了一个界面，允许用户解释和编辑KAN。用户可以通过修剪不重要的节点来简化KAN。用户还可以检查样条函数，并在需要时用符号形式（如三角函数或对数函数）替换它们。
🎯
关键要点
- 麻省理工学院、加州理工学院和东北大学的研究人员创建了一种新型神经网络：KAN。
- KAN模型在物理建模任务上优于基于感知器的模型，并提供更可解释的可视化。
- KAN受到Kolmogorov-Arnold表示定理的启发，可以将复杂函数重写为多个单变量函数的和。
- KAN在物理和数学建模任务上表现出更好的准确性，且参数更少，某些情况下准确性提高100倍。
- KAN的激活函数帮助用户发现能够表示物理过程的符号公式。
- KAN的结构类似于多层感知器（MLP），但学习的是样条函数而非权重。
- KAN可以优化学习到的特征，且遵循与MLP相同的扩展规律。
- 研究人员创建了一个界面，允许用户解释和编辑KAN，用户可以修剪不重要的节点。
- 用户可以检查样条函数，并在需要时用符号形式替换它们。
- 有用户在Hacker News讨论中提到，KAN的训练相较于传统神经网络更为复杂，需要更多的超参数调整。
- KAN的源代码已在GitHub上发布。
➡️
