高维变分推理的稳定正则流训练
内容提要
本文综述归一化流（NF）的研究进展：连续归一化流用于条件密度建模与结构预测；与变分自编码器、扩散模型结合以放宽双射约束；ConvFlow提升变分后验逼近；可逆变换增强推断灵活性；NF改进贝叶斯神经网络与系统发育推断；随机归一化流提升采样效率；新MCMC算法应对病态问题；张量网络扩展NF用于变分推断；对抗训练缓解高方差与模式崩溃。
延伸解读
归一化流的核心挑战与改进方向
归一化流依赖可逆变换和可追踪的似然计算，但严格的双射约束限制了其表达能力。文章指出，通过结合VAEs和扩散模型等生成模型，可以放宽这一约束，在表达能力、训练速度、样本效率和似然可追踪性之间取得平衡。此外，ConvFlow等新型正则化流方法提升了变分后验逼近的灵活性和效率，而随机归一化流则提高了采样效率。这些改进共同推动了归一化流在复杂分布建模中的实用性。
在贝叶斯推断与系统发育中的应用
归一化流被用于改进贝叶斯神经网络和系统发育推断。在贝叶斯神经网络中，将乘性噪声重新解释为辅助随机变量，并利用归一化流改进近似后验，提高了预测准确性和不确定性估计。在系统发育推断中，VBPI-NF方法通过置换等变变换处理非欧几里得分支长度空间，利用正则流提供灵活的分支长度分布，显著提升了实际数据表现。这些应用展示了归一化流在处理复杂后验分布时的优势。
应对病态问题与高方差的新策略
标准归一化流在复杂分布上可能遇到病态问题，如高方差和模式崩溃。文章提到，新的MCMC算法可以应对这些病态问题，无需专门训练，并能与任何预训练的归一化流网络结合使用。此外，对抗训练被用于解决条件归一化流中的高方差、模式崩溃和数据效率问题，在合成数据集和XY自旋模型上得到验证。这些策略增强了归一化流训练的稳定性和鲁棒性。
张量网络与归一化流的结合
文章还介绍了将张量网络引入归一化流的方法，通过构造基于张量网络的参考分布来扩展归一化流模型。这种结合被应用于困难的变分推断任务，并显示出优于单独使用流或张量网络的结果。这表明混合方法可以结合两者的优势，为复杂概率分布的建模和推断提供更强大的工具，尤其适用于高维或具有复杂依赖关系的场景。
Q&A
什么是连续归一化流（CNF）？它主要用来做什么？
连续归一化流（CNF）是一种用于建模条件密度函数和解决结构预测问题的新方法，在超分辨率和血管分割等任务上具有竞争力。
归一化流如何与变分自编码器（VAE）和扩散模型结合？
通过结合VAE和基于分数的扩散等生成模型，放宽了归一化流的严格双射约束，从而在表达能力、训练速度、样本效率和似然可追踪性之间实现平衡。
ConvFlow是什么？它有什么作用？
ConvFlow是一种基于神经网络和正则化流的灵活变分后验分布逼近方法，属于新型正则化流方法，在合成和实际问题上被证明有效且高效。
归一化流如何改进贝叶斯神经网络？
通过将神经网络中的乘性噪声重新解释为辅助随机变量，并引入标准化流来改进近似后验估计，同时允许局部重参数化和可计算下界，从而在预测准确性和不确定性方面都有显著提高。
VBPI-NF方法在系统发育推断中有什么优势？
VBPI-NF是一种变分贝叶斯方法，通过置换等变变换处理系统发育模型的非欧几里得分支长度空间，利用正则流提供丰富灵活的分支长度分布，显著改进了贝叶斯系统发育推断的实际数据表现。
随机归一化流是什么？它解决了什么问题？
随机归一化流是一种在机器学习和统计力学领域中解决概率分布采样问题的方法，具有较快的采样效率和较强的表示能力。
针对归一化流的病态问题，有什么新的MCMC算法？
提出了一种新的马尔可夫蒙特卡罗算法来应对标准归一化流在复杂分布上可能出现的病态问题，该算法不需要专门训练，可以简单地与任何预先训练好的NF网络结构一起使用。
张量网络如何扩展归一化流用于变分推断？
提出了一种引入张量网络构造的参考分布的扩展归一化流模型，将其应用于困难的变分推断任务中，显示出优于单独使用流或张量网络的结果。
对抗训练如何解决归一化流中的高方差和模式崩溃问题？
通过对条件NFs的研究，提出了对抗训练以解决高方差、模式崩溃和数据效率等核心问题，并在低维合成数据集和XY自旋模型上进行了实验证明。
