本研究解决了神经网络优化算法设计中的一个关键挑战,既往方法主要依赖于基于梯度的启发式适应。本论文提出了一个创新的神经网络优化器KO,灵感来源于动力学理论和偏微分方程模拟,通过粒子系统的演化来重新构思参数更新过程,促进了参数的多样性,从而有效减缓了参数凝聚现象。实验结果表明,KO在图像分类和文本分类任务上均优于传统优化器,如Adam和SGD,展现出更高的准确率。
本研究提出了一种基于动力学理论和偏微分方程的创新神经网络优化器KO,通过粒子系统演化优化参数更新,减缓参数凝聚现象。实验结果表明,KO在图像和文本分类任务中优于传统优化器,准确率更高。