通过定制损失函数获取约束的深度神经网络
内容提要
该文综述将领域知识作为约束融入深度神经网络的方法，归纳出特征空间操作、假设空间修改、数据扩增、正则化与受约束学习五类途径，并介绍小波滤波网络、随机增广拉格朗日正则化、可控性约束建模、约束传播训练、物理先验注入等具体工作，证明硬约束可提升预测精度与可解释性。
延伸解读
硬约束与软约束的实践差异
文章提到，硬约束通过限制参数子流形来严格满足，而软约束则以正则化形式鼓励满足。实验表明，软约束在提升预测质量上可能更有效，但硬约束能提供更强的可解释性。读者需根据任务需求权衡：若需严格保证物理规律或安全边界，硬约束更合适；若追求灵活性和精度，软约束可能更优。
领域知识注入的多种技术路径
综述归纳了五类融入领域知识的方法：特征空间操作、假设空间修改、数据扩增、正则化策略和受约束学习。具体案例包括小波滤波网络、随机增广拉格朗日正则化、可控性约束建模等。这些方法各有适用场景，例如小波网络适合医学轮廓预测，而增广拉格朗日法在图像分类中表现良好。
约束学习在动态系统与控制中的价值
文章介绍了通过可控性约束增强数据估计模型，从而在未知动力学情况下提取有效控制器，并在经典控制系统中验证了优势。此外，将物理先验注入神经网络结构，结合增广拉格朗日法强制约束，在轨迹数据上学习动力学模型，预测准确率比基线提升两个数量级。这表明约束学习能显著提升模型在科学计算中的可靠性。
Q&A
如何将领域知识作为约束融入深度神经网络？
文章综述了五种主要方法：特征空间操作、假设空间修改、数据扩增、正则化策略和受约束的学习。这些方法旨在将领域知识作为约束条件融入深度学习模型，以提高性能。
硬约束和软约束在深度神经网络中哪个更有效？
文章指出，通过与软约束相比的实验结果证明，软约束比硬约束更加有效。但文章也提到硬约束可以提升预测精度与可解释性，具体效果可能因任务而异。
随机增广拉格朗日乘子法在深度神经网络正则化中有什么作用？
随机增广拉格朗日乘子法（SAL）将训练过程视为约束优化问题，实现更灵活高效的正则化机制，对白盒模型进行改进以确保可解释性，实验证明在图像分类任务上实现了更高的准确度并具有更好的约束满足性。
如何通过约束传播训练神经网络以满足领域约束？
该方法将线性模型学习的思路引入神经网络，添加了关键的约束传播和基于梯度下降和CSP求解的权重更新。实验结果表明，该方法足够灵活，可以保证满足神经网络中的广泛分布的约束。
物理先验知识如何注入神经网络以提高动力学预测准确率？
通过将物理学基础知识注入到神经网络结构中，从轨迹数据中学习动力学模型，并在训练过程中通过增广拉格朗日法强制实施物理学知识约束。实验证明，比不包括先验知识的基线方法在相同训练数据集上能够将系统动力学预测准确率提升两个数量级。
小波滤波网络是什么？它应用于什么任务？
小波滤波网络是将卷积神经网络（CNN）的滤波器限制为小波，从而在深度神经网络中严格执行约束条件。该网络应用于医学领域的轮廓预测任务。
