NODEC: 用于未知动态系统的神经常微分方程优化控制
内容提要
本文综述神经常微分方程（NODE）在深度学习与控制领域的应用：从控制理论分析NODE并建立其与最优输运的联系；提出基于NODE的神经控制策略；构建动态图表示学习模型GN-CDE；用肿瘤动力学NODE预测患者生存；以辛ODE-Net建模物理系统；用神经粗糙微分方程求解非马尔可夫随机控制；提出混沌优化训练算法与半监督TS-NODE；结合贝叶斯深度学习量化不确定性；并提出神经随机微分方程学习控制动力学模型。
延伸解读
从理论到应用：NODE 控制研究的多元进展
文章梳理了神经常微分方程在控制领域的多个研究方向，包括控制理论分析、神经控制策略、动态图表示学习、肿瘤动力学预测、物理系统建模、非马尔可夫随机控制、训练算法优化、半监督建模以及不确定性量化等。这些工作展示了 NODE 作为建模工具在不同场景下的适应性，但各研究相对独立，尚未形成统一框架。
训练效率与数据依赖的改进思路
针对 Neural ODE 训练时间长、效果不佳的问题，文章提到一种利用混沌和数学优化的训练算法，可在不改变模型架构的情况下降低误差并准确捕捉长期行为。同时，TS-NODE 通过生成合成伪轨迹和教师-学生模型来缓解真实数据不足的挑战，在多个动态系统建模任务中优于基线神经 ODE 模型。这些方法为实际应用提供了降低训练成本和数据需求的可能路径。
不确定性量化与物理一致性建模
文章介绍了将贝叶斯深度学习应用于神经常微分方程以实现结构化不确定性量化的研究，并在辛神经常微分方程和神经常微分方程物理模型两种框架下探讨了机械知识与不确定性量化的相互作用。此外，Symplectic ODE-Net 使用 Hamilton 动力学建模物理系统，提供物理上一致且可解释的模型。这些工作强调了在数据驱动建模中融入物理约束和不确定性估计的价值。
Q&A
神经常微分方程在控制理论中有什么应用？
文章从控制理论角度分析了NODEs，研究了其在数据分类和通用逼近等深度学习范式中的应用，提出了同时控制NODE系统的方法，并建立了深度神经网络和最优输运之间的联系。
基于NODE的神经控制策略是如何工作的？
该策略将控制策略优化问题转化为一个Neural ODE问题，有效利用动态系统模型，为非线性控制问题的无法处理的闭环解提供了一种实用的逼近方法，并在受控的Van der Pol系统和生物反应器控制问题中展示了功效。
GN-CDE模型是做什么的？
GN-CDE（Graph Neural Controlled Differential Equation）模型用于动态图的表示学习，通过深度神经网络参量化向量场和交互导数，对节点嵌入轨迹的动态演化进行建模，实现在动态演化的图上表达动态的能力。
如何用神经常微分方程预测肿瘤患者的生存？
文章提出了肿瘤动力学神经-常微分方程（TDNODE）作为药理学信息推理神经网络，从肿瘤长期大小数据中实现模型发现，并证明了该方法能够准确预测患者的整体生存。
Symplectic ODE-Net有什么特点？
Symplectic ODE-Net是一个深度学习框架，使用Hamilton动力学对物理系统的动态进行建模，提供物理上一致的可解释的模型，并为基于模型的控制策略提供了新的可能性。
神经粗糙微分方程如何解决非马尔可夫随机控制问题？
文章提出一种基于神经粗糙微分方程的新框架，通过演示控制过程作为神经粗糙微分方程的解的模型，展示控制-状态联合动力学如何通过一个未受控的增量神经粗糙微分方程进行管理，并提供理论支撑表明神经粗糙微分方程是随机不平滑路径函数的通用近似器。实验结果显示，该方法比现有基于RNN的方法在不规则采样下具有更高精度和稳定性。
如何解决NeuralODEs训练时间长、效果不佳的问题？
文章提出一种利用混沌和数学优化的训练算法，在不更改模型架构的情况下，可大幅降低误差值，并能够准确捕捉真实的长期行为并正确地向未来外推。
TS-NODE是什么？它有什么优势？
TS-NODE是首个使用NODE对动态系统进行半监督建模的方法，通过生成廉价的合成伪轨迹来扩大状态空间中的探索，解决缺乏真实系统数据的挑战，并在教师-学生模型下根据学生反馈纠正教师模型。在多个动态系统建模任务中，TS-NODE比基线的神经ODE模型展现了显著的性能提升。
贝叶斯深度学习如何用于神经常微分方程的不确定性量化？
研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程，以获得结构化和有意义的不确定性量化，并研究了机械知识和不确定性量化在辛神经常微分方程和神经常微分方程物理模型补充两种框架下的相互作用，证明了方法在低维ODE问题和高维偏微分方程上的有效性。
神经随机微分方程在控制动力学模型学习中有何应用？
文章提出了一种使用神经随机微分方程学习控制动力学模型的框架和算法，能够构建模型预测控制算法以及基于模型的增强学习领域中的仿真器，并在模拟机器人系统中得到良好应用。
