批量与匹配：基于评分的黑盒变分推断
内容提要
本文综述黑盒变分推断（BBVI）的进展，包括评分匹配变分推断及高斯解法GSM-VI（比BBVI更快更准）、蒙特卡罗变分推断的收敛性保证，以及类前向-后向BBVI算法、偏置重要性采样、BiSM、SIVI-SM、Boosting VI等改进方法，旨在提升后验近似的精度与效率。
延伸解读
从评分匹配到GSM-VI：效率与精度的权衡
文章指出，基于评分匹配的变分推断方法GSM-VI在高斯变分族下比传统黑盒变分推断（BBVI）更快且更准确。这意味着在需要快速后验近似且模型允许高斯假设时，GSM-VI可能是一个有吸引力的选择。但读者也需注意，其优势建立在评分匹配原则和高斯变分族的特定结合上，对于非高斯或复杂后验，效果可能不同。
收敛性保证：蒙特卡罗变分推断的理论进展
2023年的工作首次为全黑箱变分推断（特别是蒙特卡罗变分推断）提供了收敛性保证，并证明在近端随机梯度下降下可达到已知最强的收敛速率。这为实践者提供了理论信心，但文章也强调，这些保证依赖于鲁棒的变分族和负责任的算法设计，并非所有BBVI实现都能自动获得。
方法演进：从偏置重要性采样到Boosting VI
文章梳理了多项改进：偏置重要性采样通过广义差异度量构建新的变分上界，在数据拟合上更优；BiSM将评分匹配视为双层优化，可学习一般结构的能量模型；SIVI-SM利用半隐变分族，在多个任务中准确性与MCMC相当；Boosting VI则能捕捉多模态和非标准后验。这些方法各有侧重，读者可根据后验复杂度和计算预算选择。
Q&A
什么是基于评分匹配的变分推断（score matching VI）？它有什么优势？
基于评分匹配的变分推断是一种新的变分推断方法，它利用评分匹配原则进行推断。其高斯变分解法GSM-VI比传统的黑盒变分推断（BBVI）更快且更准确，适用于广泛的模型和数据，并在实际贝叶斯推断问题中得到广泛应用。
蒙特卡罗变分推断的收敛性保证是什么？
蒙特卡罗变分推断的收敛性保证是指第一篇关于全黑箱变分推断的收敛性保证，特别是针对蒙特卡罗变分推断。通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。
BiSM方法是如何工作的？它有什么应用？
BiSM方法通过将Score matching作为双层优化问题重新定义，引入变分后验概率来优化修改后的SM目标函数，并通过优化变分后验概率来拟合真实后验概率。在梯度展开实现的随机优化算法辅助下，BiSM可用于生成自然图像的复杂基于能量的隐变量模型（EBLVM）。
SIVI-SM与基于ELBO的SIVI方法相比有什么优势？
SIVI-SM是基于分数匹配的新的SIVI方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度。在各种贝叶斯推理任务中，SIVI-SM的准确性与MCMC相当，并且优于基于ELBO的SIVI方法。
Boosting VI是什么？它有什么特点？
Boosting VI是一种改进算法，基于强化版Variational Inference方法，用于更有效地近似概率密度，以实现贝叶斯统计中重要的求解任务。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。
黑盒变分推断（BBVI）的收敛性如何？
在完美变分族规范下，带有控制变量的黑盒变分推断（BBVI），特别是附着着陆（STL）估计器，在几何速率下收敛。证明了STL估计器的梯度方差的二次界限，由此可以直接推出使用投影随机梯度下降的BBVI的收敛性。还改进了现有的关于常规闭式熵梯度估计器的分析，从而使其可以与STL估计器进行比较，并为两者提供明确的非渐近复杂性保证。
