非线性物理网络的挑战
内容提要
该文综述神经切向核（NTK）在物理约束神经网络中的研究：NTK可描述无限宽网络梯度下降动态，揭示高斯激活优势，并用于自适应校准损失收敛率、缓解谱偏差，提升PINN求解偏微分方程的多尺度能力。
延伸解读
NTK 如何解释 PINN 的训练动态
文章指出，神经切向核（NTK）在无限宽网络下收敛于一个明确的极限核，并在训练过程中保持不变，从而允许用函数空间而非参数空间来研究网络训练。对于物理约束神经网络，NTK 可描述梯度下降动态，并揭示高斯激活相比其他激活函数更有利于 PINN 训练。这为理解 PINN 优化提供了理论视角。
谱偏差与多尺度求解的挑战
文章提到，PINN 存在明显的谱偏差，且随微分方程阶数增加而加剧，导致高频项难以收敛。通过 NTK 理论，研究者采用时空和多尺度随机傅里叶特征构建新架构，成功解决了波传播、反应扩散动力学等多尺度问题。这表明 NTK 分析有助于诊断并缓解 PINN 的固有偏差。
自适应校准损失收敛率的思路
针对 PINN 训练中不同损失组件收敛率不一致的问题，文章提出利用 NTK 的特征值来自适应校准误差收敛率的优化算法。该方法从数值线性代数中获得灵感，引入预处理神经网络架构，并通过已有偏微分方程严格验证。这为平衡多任务损失、提升训练效率提供了可操作的方向。
Q&A
神经切向核（NTK）是什么？它在神经网络训练中有什么作用？
神经切向核（NTK）是一种核函数，用于描述人工神经网络在梯度下降算法中的演化。在无限宽度下，它收敛于一个明确的极限核，并在训练过程中保持不变，从而可以用函数空间而非参数空间来研究神经网络的训练。
为什么高斯激活函数在训练物理信息神经网络（PINNs）时更有优势？
从神经切向核（NTK）的角度看，高斯激活函数能提供比其他激活函数更有效的训练PINNs的优势，这有助于提升优化过程。
物理信息神经网络（PINNs）存在哪些局限性？如何克服？
PINNs存在谱偏差，且随微分方程阶数增加而加剧，影响多尺度问题的求解。通过采用神经切向核理论，构建使用时空和多尺度随机傅里叶特征的新体系结构，可以成功解决波传播、反应扩散动力学等多尺度问题。
如何利用神经切向核（NTK）来优化物理约束神经网络的训练？
可以利用NTK的特征值来自适应地校准误差收敛率，提出优化算法，从而改善训练过程中不同损失组件的收敛率差异。
神经切向核（NTK）与神经网络高斯过程（NNGP）理论有何联系？
通过使用具有随机初始化的无限宽度深度网络集合的马尔可夫接近学习模型，结合数值评估，可以合并和统一神经切向核（NTK）和神经网络高斯过程（NNGP）理论，提供对深度神经网络学习过程的全面理解。
在有限宽度的深度神经网络中，神经切向核（NTK）的动态如何描述？
对于有限宽度的深度全连接神经网络，可以推导出一个无穷层次的常微分方程组来捕捉梯度下降动态。在条件限制下，NTK的截断层次近似于NTK的动态，这有助于直接研究深度神经网络中NTK的变化，并揭示深度网络胜过相应极限NTK的内在原因。
