轻量级贝叶斯神经网络具有异方差不确定性的变分推断框架
内容提要
该文综述贝叶斯神经网络不确定性估计研究，提出确定性矩逼近、分层先验与经验贝叶斯方法以消除梯度方差并提升异方差回归预测；利用模型不确定性进行结构学习实现稀疏网络；提出Bayes by Hypernet、尖峰协方差方差传播及函数空间变分推断，改善认知与偶然不确定性分解，在MNIST、CIFAR及医学诊断中表现稳健高效。
延伸解读
异方差回归中的不确定性估计改进
文章指出，通过结合确定性矩逼近和分层先验的经验贝叶斯方法，能够消除梯度方差，从而在异方差回归任务中提升预测性能。这意味着在数据噪声水平随输入变化的场景下，贝叶斯神经网络可以更稳健地估计预测不确定性，为实际应用提供更可靠的置信度参考。
结构学习与稀疏化
利用模型不确定性进行结构学习，文章提出了可扩展的变分推理方法，在模型和参数的联合空间中进行推理。实验表明，该方法比普通贝叶斯神经网络更稀疏，同时保持与竞争模型相当的精度。这为在资源受限环境中部署贝叶斯神经网络提供了可能，但需注意稀疏化可能带来的精度权衡。
认知与偶然不确定性的分解
文章综述了多种方法，如Bayes by Hypernet和尖峰协方差方差传播，旨在改善认知与偶然不确定性的分解。这些方法在MNIST、CIFAR及医学诊断任务中表现出稳健性和高效性。正确分解两类不确定性对于主动学习和安全强化学习等应用至关重要，但文章也提到在低不确定性区域存在病理现象，需谨慎对待。
Q&A
贝叶斯神经网络中如何消除梯度方差？
文章提出一种新的确定性方法用于逼近神经网络的矩，从而消除了梯度方差。
如何自动选择贝叶斯神经网络先验方差？
文章提出一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。
贝叶斯神经网络如何实现结构学习？
文章利用模型不确定性作为BNN结构学习的框架，提出可扩展变分推理方法，在模型和参数的联合空间中进行推理，实现结构和参数不确定性的组合，使网络比普通贝叶斯神经网络更稀疏，同时保持与竞争模型相当的精度。
Bayes by Hypernet是什么？
Bayes by Hypernet是一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信且不能产生有意义的不确定性度量的问题，在MNIST和CIFAR任务中表现优异且最具鲁棒性。
如何分解贝叶斯神经网络预测不确定性中的认知和偶然成分？
文章使用信息论方法和风险敏感目标，将预测不确定性分解为认知和概率性成分，以解决主动学习和安全强化学习等领域中的模型偏差问题。
函数空间变分推断在贝叶斯神经网络中有什么应用？
文章提出一种基于函数空间变分推断的可扩展方法，明确地将贝叶斯推断应用于神经网络，允许结合先验信息以产生可靠的预测不确定性评估，在一系列预测任务上取得最新不确定性估计和预测性能，并在安全关键的医学诊断任务中表现出色。
