反转了？在一场新较量中，号称替代MLP的KAN只赢一局
内容提要
KAN是一种新的符号表示中的替代方法，具有更好的准确性和可解释性，参数更少。然而，在公平比较中，MLP通常在机器学习、计算机视觉、自然语言处理和音频处理等任务中优于KAN。差异在于激活函数，KAN使用B样条函数。KAN在符号表示任务中表现更好，但MLP在其他任务中通常更优。KAN和MLP在连续学习任务中的性能相似。KAN和MLP的主要区别在于激活函数和线性和非线性操作的顺序。在大多数任务中，MLP仍然是更好的选择。
延伸解读
公平比较的关键：控制参数与FLOP
此前KAN与MLP的对比常因参数或计算量不同而有失公允。新加坡国立大学的研究者推导了参数量和FLOP的计算公式，并在实验中严格控制两者相等。这种公平设置下，KAN仅在符号公式表示任务中领先，其他任务MLP更优。这提醒读者，评估新架构时需关注比较基准是否一致，否则结论可能被计算资源差异误导。
KAN优势来源：B样条激活函数
KAN在符号公式表示上的优势源于其使用的B样条激活函数。实验发现，将MLP的激活函数替换为B样条后，MLP在符号任务上的性能达到甚至超过KAN。但B样条无法提升MLP在计算机视觉等任务上的表现。这表明KAN的增益主要来自激活函数的设计，而非架构本身的普遍优越性。
持续学习：KAN遗忘问题更严重
在更标准的类递增持续学习设置中，固定训练迭代次数下，KAN的遗忘问题比MLP更严重。原始KAN论文使用一维函数平移任务比较，而本文采用更贴近实际的持续学习场景，结果发现KAN并未表现出优势。对于需要持续学习的应用，MLP可能是更稳妥的选择。
实践选择：MLP仍是多面手
综合多个领域的实验，MLP在机器学习、计算机视觉、自然语言处理和音频处理等大多数任务中优于KAN。KAN仅在符号公式表示任务中表现更好，且其优势在控制FLOP时也未必稳定。因此，在实际应用中，除非任务明确涉及符号公式表示，否则MLP仍是更通用、更可靠的选择。
Q&A
KAN和MLP的主要区别是什么？
KAN和MLP的主要区别在于激活函数和线性与非线性操作的顺序。KAN使用B样条函数作为激活函数，而MLP通常使用ReLU或GELU等激活函数。
在符号表示任务中，KAN的表现如何？
在符号公式表示任务中，KAN的表现优于MLP，在控制参数数量的情况下，KAN在8个数据集中的7个上表现更好。
MLP在机器学习和计算机视觉任务中的表现如何？
在机器学习数据集上，MLP通常保持优势，在8个数据集中的6个上表现优于KAN。在计算机视觉数据集中，MLP的表现始终优于KAN。
KAN在连续学习任务中的表现如何？
KAN在连续学习任务中的表现并不比MLP好，且其遗忘问题比MLP更严重。
KAN的优势来源于什么？
KAN的优势源于其使用的B样条激活函数，这使得其在符号表示任务中表现更好。
在公平比较中，KAN和MLP的表现如何？
在公平比较中，KAN仅在符号公式表示任务中优于MLP，而在其他任务中，MLP通常表现更优。
