本文研究了在球面上学习未知函数的方差损失问题,分析了神经切向核模型和随机特征模型的表现。通过大偏差理论,探讨了插值器的泛化能力及其与现代学习技术的关系。同时,研究了广义线性回归的渐近表现、局部插值方案的一致性,以及生成Transformer模型的泛化能力,并提出了改进方法。最后,讨论了半监督分类中的新框架和深度学习的广义化现象。
本研究分析了过度参数化神经网络的学习与泛化机制,强调图神经网络中对齐和图移位算子的优化重要性。实验证明,采用交叉协方差的图神经网络在多变量时间序列预测中表现优于传统方法。同时,研究探讨了神经切向核在无限宽度下的行为及其与训练过程的关系。
本文研究了深度ReLU网络中神经切向核(NTK)的特征值分布及其对网络训练的影响,提出了误差上限和优化算法,探讨了不同宽度下的学习动态及鲁棒性,强调了NTK在实际应用中的重要变化。
本研究证明了梯度下降算法中人工神经网络的演化可以表示为神经切向核,该核在无限宽度下收敛于明确的极限核,并在训练过程中保持不变。研究者使用函数空间而不是参数空间来研究人工神经网络的训练。
本研究发现梯度下降算法中的人工神经网络可以用神经切向核表示,网络函数在训练期间遵循线性微分方程。研究还对神经切向核进行数值研究,观察其在宽网络中的行为,并与无限宽度的极限进行比较。
该文介绍了一种用于递归神经网络(RNN)的固定点分析方法,可以用于RNN记忆状态演进的收敛估计。通过研究联合随机代数方程的无穷维ODE的解,证明了简化权重矩阵的RNN收敛到一个无穷维ODE的解与固定点耦合。这些数学方法导致了RNN在数据序列上训练时的神经切向核(NTK)极限。
该研究发现神经网络的演化可以用神经切向核表示,网络函数在训练期间遵循线性微分方程。研究还对神经切向核进行了数值研究,并将其与无限宽度的极限进行了比较。
开发数学方法来表征递归神经网络(RNN)的渐近特性,研究了简化权重矩阵的RNN收敛到无穷维ODE的解与固定点耦合,开发了固定点分析方法用于RNN记忆状态演进,给出了收敛估计。这些方法导致了RNN在数据序列上训练时的神经切向核(NTK)极限。
完成下面两步后,将自动完成登录并继续当前操作。