KAN 或 MLP:公平比较
原文中文,约400字,阅读约需1分钟。发表于: 。对比 KAN 和 MLP 模型在各种任务中的性能,除了符号公式表示任务外,MLP 通常优于 KAN。对 KAN 进行消融研究后发现,其在符号公式表示中的优势主要来自其 B 样条激活函数。当 B 样条应用于 MLP 时,在符号公式表示中的性能显著提高,超过或与 KAN 相匹配。然而,在其他任务中,MLP 已经优于 KAN,B 样条并没有显著提升 MLP...
通过对比KAN和MLP模型在各种任务中的性能,发现MLP通常优于KAN,尤其是在符号公式表示任务中。研究发现,KAN的优势主要来自其B样条激活函数,当B样条应用于MLP时,性能显著提高。然而,在其他任务中,B样条并没有显著提升MLP的性能。此外,在增量式持续学习环境中,KAN的遗忘问题比MLP更严重。这些结果为KAN和其他MLP替代方案的未来研究提供了启示。