神经切向核(NTK)研究综述:修正误差上限与缩放问题;提出截断埃尔米特函数近似NNGP和NTK,在CIFAR-10上加速106倍;RNTK性能更优;NTK性质取决于深度宽度比,分有序、混沌和混沌边缘三阶段;给出NTK矩阵最小特征值紧界;NTK可解释大语言模型组件;无限宽度下NTK训练中恒定;有限宽度NTK动态可用微分方程组描述;建立浅层NTK逼近率;实证发现NTK特征向量随优化向目标函数演化。
完成下面两步后,将自动完成登录并继续当前操作。