求解带有神经网络的偏微分方程过程中的损失跃迁
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文探讨了利用神经网络计算李雅普诺夫函数的方法，编码李雅普诺夫条件为偏微分方程，并分析其解的性质。研究表明，通过可满足性求解器验证学习到的李雅普诺夫函数的充分条件，可以有效进行局部稳定分析和吸引域估计。此外，提出了一种无导数损失方法，结合费曼-卡克公式，优化了神经网络在解决复杂偏微分方程中的应用。
🔎
延伸解读
损失偏差的理论关系
文章指出，无导数损失方法中训练损失的偏差与时间间隔和神经网络的空间梯度成正比，与游走大小成反比。这意味着在训练中，若时间间隔过大或网络空间梯度过大，损失偏差会增大；而增大游走大小可以减小偏差。这一关系为调整超参数提供了理论依据。
时间间隔与游走大小的权衡
分析表明，时间间隔必须足够长以训练网络，但过长又会增大损失偏差。因此存在一个最优下限。同时，游走大小与偏差成反比，故在满足时间间隔要求下，应尽可能选择较小的游走大小。这为实际训练中平衡计算效率与精度提供了指导。
可验证性与传统方法对比
通过可满足性求解器验证学习到的李雅普诺夫函数的充分条件，使得局部稳定分析和吸引域估计能在大范围内进行正式验证。多个非线性示例说明，该框架可以优于使用半定规划获得的传统的和式李雅普诺夫函数，展示了神经网络方法在复杂系统中的潜力。
❓
Q&A
如何利用神经网络计算李雅普诺夫函数？
通过将李雅普诺夫条件编码为偏微分方程，并使用神经网络进行训练来计算李雅普诺夫函数。
无导数损失方法在神经网络中的应用是什么？
无导数损失方法结合费曼-卡克公式，优化了神经网络在解决复杂偏微分方程中的应用。
如何验证学习到的李雅普诺夫函数的充分条件？
可以通过可满足性求解器来验证学习到的李雅普诺夫函数的充分条件，以进行局部稳定分析和吸引域估计。
训练损失的偏差与哪些因素相关？
训练损失的偏差与时间间隔和神经网络的空间梯度成正比，与游走大小成反比。
时间间隔对神经网络训练有什么影响？
时间间隔必须足够长以训练网络，且选择较小的游走大小可以根据时间间隔的最优下限进行。
本文提供了哪些数值测试支持分析结果？
文章提供了数值测试来支持分析结果，强调了时间间隔的最优下限和游走大小的选择。
🏷️
