CreINNs：用于分类任务中的置信间隔神经网络的不确定性估计
内容提要
该文综述多种深度学习不确定性量化方法：集成DNN与XGBoost估计预测区间；协作网络近似累积分布函数；DeepLR用似然比构建置信区间；共形预测将点预测转为校准良好的区间；RS-CNN以置信函数处理不确定性；另有替代贝叶斯网络的简单方法、图像重建不稳定性检测及CIPNN处理连续潜在变量等。
延伸解读
不确定性量化方法多样，适用场景各异
文章综述了多种深度学习不确定性量化方法，包括集成DNN与XGBoost、协作网络、DeepLR、共形预测、RS-CNN等。这些方法各有侧重：集成方法计算简单且适用于小数据集；协作网络近似累积分布函数，在电子健康记录等领域有应用价值；DeepLR利用似然比构建不对称置信区间，但当前实现代价较高；共形预测能将点预测转化为校准良好的区间；RS-CNN通过置信函数处理不确定性和对抗攻击。读者需根据数据规模、任务类型和计算资源选择合适方法。
共形预测在回归任务中表现良好
共形预测（CP）基于独立同分布假设，将传统回归神经网络的点预测转化为满足置信水平的预测区间。在四个基准数据集和电离层总电子含量（TEC）预测任务上的实证评估表明，该方法产生的预测区间既具有良好的校准性又足够紧凑。这意味着CP在实际回归问题中能提供可靠的不确定性估计，尤其适用于对区间质量要求较高的场景，如空间天气预测。
替代贝叶斯网络的方法展现可扩展性
一项研究提出了一种替代贝叶斯神经网络的简单实现方法，能够产生高质量的预测不确定性估计。在分类和回归数据集上的实验证明，该方法在已知和未知数据分布下均能有效评估不确定性，并对超出分布的样本表现出更高的不确定性。此外，在ImageNet上的实验证明了其可扩展性。这为需要不确定性估计的大规模应用提供了一种更易实现的替代方案。
不确定性量化可提升医学图像重建安全性
在医学图像重建任务中，深度学习模型可能出现不稳定性。研究探讨了利用不确定性量化方法作为不稳定性检测器，以保证基于深度学习的图像重建在医学应用中的安全性。这表明不确定性估计不仅用于提升预测可靠性，还可作为安全监控机制，帮助识别模型可能出错的区域，从而降低临床风险。
Q&A
有哪些方法可以估计深度学习分类任务中的预测不确定性？
文章综述了多种方法：集成DNN与XGBoost估计预测区间；协作网络（CN）近似累积分布函数；DeepLR用似然比构建置信区间；共形预测（CP）将点预测转为校准良好的区间；RS-CNN以置信函数处理不确定性；还有替代贝叶斯网络的简单方法、图像重建不稳定性检测以及CIPNN处理连续潜在变量等。
协作网络（Collaborating Networks）是如何实现预测分布估计的？
协作网络利用两个神经网络来近似回归的累积分布函数及其反函数，从而实现预测分布的估算。该方法具有高度的一致性、准确性和鲁棒性，在电子健康记录等领域应用具有重要意义。
DeepLR方法有什么优势和局限性？
DeepLR利用似然比方法构建神经网络置信区间，优势包括：产生限定数据区域扩展的不对称区间，并考虑训练时间、网络结构和正则化技术等因素。局限性是当前实现方式在许多深度学习应用中代价过高，但在医学预测或天体物理学等领域，对单个预测的可靠不确定性估计已具有明确价值。
共形预测（Conformal Prediction）如何将点预测转化为预测区间？
共形预测是一种基于独立同分布数据的机器学习框架，它扩展了传统回归神经网络，将点预测转化为满足所需置信水平的预测区间。在四个基准数据集和电离层总电子含量（TEC）预测问题上的实证评估表明，该方法产生的预测区间既具有良好的校准性又足够紧凑。
RS-CNN如何处理机器学习中的不确定性和对抗性攻击？
RS-CNN是一种基于随机集的深度学习方法，通过预测置信函数而非概率向量来估计模型对于其预测的正确程度和可能出现的误差，从而更好地处理机器学习领域中的不确定性和对抗性攻击。
CIPNN模型解决了什么问题？
CIPNN（连续不定概率神经网络）是基于IPNN的模型，用于处理离散潜在随机变量。它提出了新的理论解决了连续潜在随机变量后验的计算问题，创新地提出了基于概率的自编码器CIPAE，并提出了一种视觉化方法及进行分类任务，实验结果表明该模型可以无限度地提高分类能力。
