利用 Transformer 作为具有有限规律性的微分方程求解的神经算子
内容提要
本文探讨了基于Transformer的神经网络在物理系统动力学中的应用，提出了一种新的神经算子，能够高效求解偏微分方程（PDE），并在多个测试中展现出高准确率和速度。研究还改进了DeepONet模型，强调物理一致性对预测准确性的提升，以及在不规则网格上进行解的预测能力。
延伸解读
物理一致性约束的价值
文章提到，通过自动微分在训练中施加软惩罚约束，将重力定律等物理规律嵌入DeepONet模型，能显著提高预测准确性并减少对大型训练数据集的依赖。这提示读者，在数据稀缺或噪声较大的场景下，引入已知物理约束可能比单纯增加数据更有效。
不规则网格与时间外推的进展
GraphDeepONet能够在不规则网格上预测解，并支持对时间依赖性PDE解进行时间外推。这意味着神经算子正从规则网格向更贴近实际工程问题的复杂几何区域扩展，为处理非结构化网格上的物理模拟提供了新思路。
效率与性能的权衡
研究表明，用可学习的线性层替代变换层，性能可与最佳基于变换的层相媲美，且计算时间更短。这暗示神经算子的效率可能并非完全依赖注意力机制，未来架构设计或可探索更轻量的替代方案，以平衡精度与速度。
从数据中恢复符号规律
基于Transformer的序列到序列模型能从单个解轨迹的不规则、嘈杂观测中恢复常微分方程的符号形式，且预训练后可通过少量前向传递推断新观测的控制规律。这展示了神经算子不仅用于数值求解，还能辅助符号回归，为科学发现提供工具。
Q&A
Transformer神经网络在物理系统动力学中的应用是什么？
Transformer神经网络用于学习物理系统的动力学，并结合卷积自编码器学习空间模式。
新提出的神经算子如何提高偏微分方程的求解效率？
新神经算子通过在傅里叶空间中参数化积分核，实现对偏微分方程的高效求解，速度比传统方法快三个数量级。
GraphDeepONet模型的优势是什么？
GraphDeepONet能够适应DeepONet，有效学习操作符，并在不规则网格上进行解的预测和时间外推。
如何通过物理学知识提高DeepONets的预测准确性？
通过施加软惩罚约束，确保物理一致性，从而显著提高DeepONets的预测准确性，减少训练数据需求。
使用可学习的线性层替代变换层有什么好处？
使用可学习的线性层可以在性能上与最佳的基于变换的层相媲美，并且计算时间更短。
如何实现对参数ODE/PDE系统的精确长时间模拟？
通过无配对输入输出观测的深度神经网络学习框架，可以实现对参数ODE/PDE系统的精确长时间模拟。
