本文介绍了物理指导神经网络算法在解决偏微分方程问题方面的应用。研究发现,神经切向核可以减少谱偏差的影响,并且合适宽度的神经网络在高频项存在的情况下仍能收敛于理想解决方案。
本研究证明了梯度下降算法中人工神经网络的演化可以表示为神经切向核,该核在无限宽度下收敛于明确的极限核,并在训练过程中保持不变。研究者使用函数空间而不是参数空间来研究人工神经网络的训练。
通过研究神经切向核(NTK),设计了一种元学习机制,提高了网络的基础泛化能力。综合多种方法,网络在FSCIL基准数据集上的准确率提升了2.9%至8.7%。
本研究发现梯度下降算法中的人工神经网络可以用神经切向核表示,网络函数在训练期间遵循线性微分方程。研究还对神经切向核进行数值研究,观察其在宽网络中的行为,并与无限宽度的极限进行比较。
该文介绍了一种用于递归神经网络(RNN)的固定点分析方法,可以用于RNN记忆状态演进的收敛估计。通过研究联合随机代数方程的无穷维ODE的解,证明了简化权重矩阵的RNN收敛到一个无穷维ODE的解与固定点耦合。这些数学方法导致了RNN在数据序列上训练时的神经切向核(NTK)极限。
该研究发现神经网络的演化可以用神经切向核表示,网络函数在训练期间遵循线性微分方程。研究还对神经切向核进行了数值研究,并将其与无限宽度的极限进行了比较。
开发数学方法来表征递归神经网络(RNN)的渐近特性,研究了简化权重矩阵的RNN收敛到无穷维ODE的解与固定点耦合,开发了固定点分析方法用于RNN记忆状态演进,给出了收敛估计。这些方法导致了RNN在数据序列上训练时的神经切向核(NTK)极限。
完成下面两步后,将自动完成登录并继续当前操作。