保持势能：欧几里得梯度流之外的守恒定律
内容提要
本文探讨了有限维代数操作在揭示守恒定律中的应用，强调神经算子在复杂物理系统建模中的有效性。研究表明，结合 Hamilton 力学与神经网络可以提高学习效率，遵循物理守恒定律，并在能量守恒等问题上展现更快的训练速度和更好的泛化能力。
延伸解读
守恒定律的代数刻画
文章提出在Jacobin生成的Lie代数上进行有限维代数操作，以揭示守恒定律的定义、性质和数量。该定律被定义为在任何训练数据和损失函数下，保留给定模型梯度流期间独立数量的最大集合。这一视角将守恒律的发现从连续物理系统推广到离散的深度学习训练过程，为理解模型训练中的不变量提供了代数工具。
物理归纳偏差与学习效率
结合Hamilton力学为神经网络提供更好的归纳偏差，使其在自我监督状态下学习并遵守物理守恒定律。研究表明，此类模型在能量守恒等问题上具有更快的训练速度和更好的泛化性能，并且是完全可逆的时间模型。这提示在数据稀缺或需要长期预测的场景中，嵌入物理先验可能比纯数据驱动方法更有效。
加速收敛的理论进展
文章提出一类新的目标函数，其中只有参数的一个子集满足强凸性，并证明Nesterov动量在该目标类上实现加速收敛，包括用于深度ReLU网络的两种实现。这是首篇证明非平凡神经网络结构加速收敛率的论文。此外，通过Lyapunov方法证明了动量策略下全连接网络heavy ball方法在平均场极限下收敛于全局最优解，为优化算法的理论分析提供了新思路。
数据驱动的新物理发现
基于数据的新物理发现方法使用神经新物理探测器（NNPhD）分解力场，将其表示为拉格朗日神经网络（LNN）和通用近似器网络（UAN），在玩具数值实验中成功发现新物理。演示表明，NNPhD与积分器结合后，优于以前预测阻尼双摆未来的方法。这展示了将物理结构嵌入神经网络在科学发现中的潜力，尤其是在传统方法难以建模的复杂系统中。
Q&A
什么是守恒定律在深度学习中的应用？
守恒定律在深度学习中通过神经算子编码，能够提高学习效果，尤其是在小数据情况下。
如何通过有限差分法实现深度学习的学习动力学？
有限差分法用于实现有限学习率的精确积分表达式，描述深度学习训练中的学习动力学。
Nesterov动量在新目标函数中的作用是什么？
Nesterov动量在新目标函数上实现了加速收敛，证明了其在深度ReLU网络中的有效性。
结合Hamilton力学对神经网络的影响是什么？
结合Hamilton力学为神经网络提供更好的归纳偏差，使其在自我监督学习中遵守物理守恒定律。
神经新物理探测器（NNPhD）如何发现新物理？
NNPhD通过分解力场并结合拉格朗日神经网络，成功在玩具数值实验中发现了新物理。
如何提高神经网络的鲁棒性？
通过使用激活函数的同变性并推广到非线性神经网络，可以找到低误差谷，从而提高鲁棒性。
