训练的神经网络中低成本的不确定性的预测刚度形式化
内容提要
该文综述机器学习中的不确定性估计方法，包括贝叶斯信任网络、蒙特卡罗采样、狄利克雷分布主观逻辑、高斯过程框架RIO及贝叶斯深度神经网络，强调无需改动模型结构即可提升预测准确性与可靠性，并应用于回归、时间序列预测、强化学习、流体计算和轨迹重建等领域。
延伸解读
无需修改模型的不确定性估计方法
文章提到，基于贝叶斯信任网络和蒙特卡罗采样的方法可以对神经网络进行不确定性估计，且与网络结构和任务无关，不需要更改优化进程，能直接应用于已训练好的模型。这意味着在实际部署中，无需重新训练或调整架构，即可为现有模型增加不确定性量化能力，提升预测可靠性。
校准程序提升回归与时间序列预测
文章探讨了一种简单有效的校准程序，能在足够数据下保证任何回归算法产生准确的校准不确定性估计。该方法应用于贝叶斯线性回归、前向和递归神经网络，能稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。这为需要可靠预测区间的任务提供了实用方案。
狄利克雷分布与主观逻辑推断不确定性
通过在类概率上使用狄利克雷分布对主观逻辑建模，并利用确定性神经网络从数据中学习预测证据，文章提出一种与贝叶斯神经网络正交的方法，可直接推断预测不确定性。该方法在检测超出分布的查询和对抗性扰动方面取得了成功，为不确定性估计提供了新思路。
RIO框架与多领域应用
文章介绍了基于高斯过程模型的RIO框架，可应用于任何标准神经网络，无需修改架构或训练流程，提供可靠的不确定性估计并减少点预测误差。此外，不确定性估计还被用于流体计算和轨迹重建等领域，例如在RANS计算中提供概率边界，或在多交互轨迹重建中输出均值和标准差。
Q&A
如何在不改变神经网络结构的情况下进行不确定性估计？
可以使用基于贝叶斯信任网络和蒙特卡罗采样的方法，该方法与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效提高准确性。
有哪些方法可以校准回归任务中的不确定性预测？
本文提出了一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中。此外，还有基于直方图的聚类方法和基于缩放的校准方法。
狄利克雷分布主观逻辑如何用于神经网络不确定性估计？
通过在类概率上使用狄利克雷分布对主观逻辑进行建模，并使用确定性神经网络从数据学习收集导致预测的证据，可以直接推断出预测的不确定性。该方法在检测超出分布的查询和对抗性扰动方面取得了成功。
RIO框架是什么？它有什么特点？
RIO是一种基于高斯过程模型的神经网络不确定性估算框架，可应用于任何标准神经网络，无需对模型架构或训练流程进行修改，能提供可靠的不确定性估算，减少点预测误差，并具有较强的可扩展性。
如何估计回归神经网络中的预测方差？
本研究提出了新的互补方法来估计回归神经网络中的预测方差网络，经验证明此方法大幅改善了预测不确定性的估计。
贝叶斯深度神经网络在流体计算中如何应用？
使用不变的贝叶斯深度神经网络以及蒙特卡罗方法对流体量（如速度和压力）提供概率边界，并在两个测试用例中呈现结果。该框架可以提高RANS计算预测结果的准确性，并允许在没有高保真度观察或先验知识的流中定量测量模型置信度和不确定性。
多交互轨迹重建中如何加入输出不确定性估计？
通过扩展Factorised Neural Relational Inference模型，加入输出每个相空间向量部分的均值和标准差以及相应的损失函数，以解决神经网络在多交互轨迹重建中缺乏输出不确定性估计的问题。研究了多种损失函数，包括凸函数和Bayesian方法，并发现考虑不确定性时变量的物理意义非常重要，且存在难以避免的病态局部最小值问题。
