边际似然估计
内容提要
本文讨论了贝叶斯推断中的边际似然及其估计方法，包括蒙特卡洛方法和重要性采样方法。边际似然是条件变量的先验分布上似然函数的期望值。蒙特卡洛方法通过抽样和计算似然函数来估计边际似然，但在高维度和小样本情况下可能存在高方差。重要性采样方法通过建议分布来提供更准确的边际似然估计。
延伸解读
朴素蒙特卡洛估计的方差问题
文章指出，从先验分布抽样计算似然函数平均值的朴素蒙特卡洛方法是无偏估计，但在高维或小样本情况下方差可能极高。当似然函数仅在先验空间的一个极小区域非零时，先验样本很难落入该区域，导致有效样本极少，估计不稳定。在迭代优化中，这种高方差会使每轮边际似然估计几乎不可靠。
重要性采样如何降低方差
重要性采样通过引入建议分布 q(z) 重新加权，将边际似然表示为联合分布与 q(z) 比值的期望。文章推导表明，当 q(z) 等于后验分布 p(z|x) 时，估计方差降为零。因此，选择接近后验的建议分布能显著提高估计精度。与朴素方法中 q(z)=p(z) 不同，重要性采样避免了先验与后验差异过大带来的高方差。
与优化算法结合的实际意义
文章提到，变分推断和变分自编码器等优化算法可以学习接近后验分布的建议分布。这意味着这些方法不仅能用于近似推断，还能为重要性采样提供高质量的建议分布，从而更准确地估计边际似然。这为在复杂模型中评估边际似然提供了可行路径，但前提是学到的建议分布确实接近后验。
Q&A
什么是边际似然？
边际似然是条件变量的先验分布上似然函数的期望值。
边际似然的计算为什么通常不可行？
计算边际似然的确切值通常不可行，尤其是在高维度情况下，积分或求和计算非常耗时。
蒙特卡洛方法在边际似然估计中有什么局限性？
蒙特卡洛方法在小样本和高维情况下可能存在高方差问题，导致估计不准确。
重要性采样方法是如何提高边际似然估计准确性的？
重要性采样通过选择接近后验分布的建议分布来降低估计的方差，从而提高准确性。
在边际似然估计中，建议分布的选择有何重要性？
建议分布的选择对估计的方差有显著影响，接近后验分布的建议分布能更准确地估计边际似然。
哪些优化算法可以用于学习接近后验分布的建议分布？
变分推断和变分自编码器等优化算法可以学习接近后验分布的建议分布。
