通用物理变换器
内容提要
该文综述深度学习在偏微分方程求解与物理系统建模中的应用，涵盖利用Transformer学习动力学并结合自编码器预测Navier-Stokes方程，以及通用Transformer、UPDeT多智能体模型、随机潜在转换器加速随机偏微分方程、物理启发网络量化不确定性、张量神经网络、DCT-RNN框架、LSTM压力场预测、DeLaN和从噪声数据发现非线性偏微分方程等方法。
延伸解读
从数值求解到神经算子：效率与精度的权衡
文章汇总的多个工作显示，深度学习在偏微分方程求解中正从逐点数值积分转向学习解算子。例如，随机潜在转换器对随机偏微分方程实现约5个数量级的加速，而混合Transformer与卷积自编码器的模型在Navier-Stokes方程预测上达到与FNO等神经算子相当或更好的结果。这意味着在需要大量重复模拟的场景中，神经代理模型可显著降低成本，但其精度和泛化性仍受训练数据分布限制。
物理约束与不确定性量化：小数据下的可靠建模
针对数据采集成本高、训练集小的物理系统，文章提到物理启发式神经网络可量化并传播由输入随机性或观测噪声引起的不确定性，且无需重复采样昂贵的实验或数值模拟器。同时，DeLaN利用理论物理知识以极少样本学习机器人轨迹跟踪，并能更可靠地外推新轨迹。这些方法表明，将已知物理定律作为归纳偏置嵌入模型，是提升小数据场景下可靠性的关键路径。
架构创新：从通用Transformer到多智能体与频域编码
文章列举了多种架构改进：Universal Transformer通过结合并行性与递归归纳偏置，解决了标准Transformer在简单任务上的失败；UPDeT可插入多智能体强化学习管道，在SMAC游戏中训练速度提升10倍；DCT-RNN利用离散余弦变换编码空间频率，再以循环神经网络处理时间演化，在Taylor-Green涡旋解上达到最先进性能。这些案例说明，针对物理问题的时空特性定制网络结构，往往比直接套用通用模型更有效。
从噪声数据中发现方程：数据驱动建模的边界
文章提到一种方法能从散乱且可能带噪声的时空数据中发现非线性偏微分方程，通过两个深度神经网络分别近似未知解和非线性动力学。这拓展了数据驱动建模的适用范围，但需注意，此类方法对噪声水平、数据覆盖度和方程形式假设较为敏感，其发现结果的物理可解释性与唯一性仍需结合领域知识验证。
Q&A
Transformer在求解偏微分方程方面有哪些应用？
文章提到使用Transformer神经网络结构学习物理系统的动力学，混合卷积自编码器学习的空间模式，在预测Navier-Stokes方程的时间演化方面取得了与FNO、OFormer、Galerkin Transformer相当或更好的结果。此外，还有通用Transformer、UPDeT多智能体模型、随机潜在转换器等基于Transformer的方法用于物理系统建模。
随机潜在转换器如何加速随机偏微分方程的求解？
随机潜在转换器是一种用于随机偏微分方程高效减维建模的概率深度学习方法。通过将具有随机驱动的流体力学建模应用于纬向气流系统，该神经网络相较于数值积分实现了5个数量级的加速，从而实现了成本效益较高的大集合生成，用于探索自发转变事件概率的统计问题。
物理启发神经网络如何量化物理系统中的不确定性？
物理启发神经网络框架通过建立概率表示，对系统状态进行训练以满足给定的物理定律表达式，并提供了一种有效训练深度生成模型作为物理系统代理的规范化机制。该框架能灵活表征因输入随机性或观测噪声导致的物理系统输出不确定性，完全绕过重复采样昂贵的实验或数值模拟器，并在非线性守恒定律的不确定性传播及从嘈杂数据中发现流体通过多孔介质的本构规律等例子中证明了有效性。
张量神经网络在求解偏微分方程时有什么优势？
张量神经网络在求解偏微分方程时，实现了与深度神经网络同样精度的情况下更小的参数及更快的训练速度，并以Black-Scholes-Barenblatt方程模型为例进行了测试验证。
DCT-RNN框架如何用于时间依赖偏微分方程？
DCT-RNN框架利用离散余弦变换对空间频率进行编码，再利用循环神经网络处理时间演化，从而实现对问题时空动态的潜在表达，提高了物理相关模型的效率和灵活性，并在Navier-Stokes方程的Taylor-Green涡旋解上实现了最先进的性能。
DeLaN方法在机器人控制中有什么特点？
DeLaN（Deep Lagrangian Networks）使用理论物理知识，以很少的数据为样本，可用于机器人轨迹跟踪控制，能够在实时学习中更快速、更准确地进行模型学习，并能更加可靠地对新的轨迹进行外推。
