深度贝叶斯模型的改进变分推理
内容提要
本文综述变分推断的最新进展，涵盖均值场VI、可扩展VI、通用VI、准确VI与摊余VI，并展望未来方向。研究还涉及变分剪枝、Boosting VI、贝叶斯神经网络稳健推理、深度神经网络参数化先验、后验坍塌及BNN结构学习等，以提升推理效率与泛化能力。
延伸解读
变分推理的演进脉络
文章梳理了变分推理从标准均值场到可扩展、通用、准确及摊余VI的发展路径，并指出未来研究方向。这反映了该领域在计算效率与推理精度之间的持续权衡，读者可借此把握不同方法的定位与适用场景。
变分剪枝：表达力与泛化的悖论
文章提到，在神经网络中使用更具表现力的变分逼近可能导致更差的预测表现，称为变分剪枝，并给出了理论解释。这提示设计变分逼近时不能一味追求灵活性，需警惕过拟合与泛化能力下降的风险。
贝叶斯神经网络的稳健推理进展
文章介绍了两种创新方法：确定性矩逼近消除梯度方差，以及分层先验与经验贝叶斯自动选择先验方差。结合后，在异方差回归中表现出高效稳健的预测性能，为BNN的实用化提供了新思路。
后验坍塌与结构学习：挑战与对策
文章探讨了语言建模中的后验坍塌问题，并介绍了多种解决方案与模型扩展，通过贝叶斯优化比较效果。同时，利用模型不确定性进行BNN结构学习，在基准数据集上实现了更稀疏且精度相当的模型，为联合推理结构与参数提供了方向。
Q&A
变分推断有哪些最新进展？
最新进展包括可扩展的VI、通用的VI、准确的VI以及摊余的VI，此外还有变分剪枝、Boosting VI、贝叶斯神经网络稳健推理、深度神经网络参数化先验、后验坍塌及BNN结构学习等。
什么是变分剪枝？
变分剪枝是指在神经网络中使用更具表现力的变分逼近可能导致更差的预测表现的现象，本文提出了理论解释并指出有效的变分逼近设计应对此现象。
Boosting Variational Inference 算法有什么特点？
Boosting Variational Inference（BVI）基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后验形状，并使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。
如何将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具？
提出两种创新方法：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。结合这两种方法，得到高效而稳健的方法，在异方差回归应用中表现出了很好的预测性能。
后验坍塌问题在变分推断中如何解决？
本文探讨了利用深度神经网络对概率模型进行参数化的变分推断方法在语言建模上出现的后验坍塌问题，介绍了多种解决方案和模型扩展，并通过贝叶斯优化系统性比较了这些方法的效果和差异，同时提供了一些实践建议。
如何利用模型不确定性进行贝叶斯神经网络结构学习？
本研究提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明该方法比普通贝叶斯神经网络更加稀疏，但得到了与竞争模型相当的精度结果。
