Lei Mao's Log Book
·
边际似然估计
💡
原文英文，约900词，阅读约需4分钟。
📝
内容提要
本文讨论了贝叶斯推断中的边际似然及其估计方法，包括蒙特卡洛方法和重要性采样方法。边际似然是条件变量的先验分布上似然函数的期望值。蒙特卡洛方法通过抽样和计算似然函数来估计边际似然，但在高维度和小样本情况下可能存在高方差。重要性采样方法通过建议分布来提供更准确的边际似然估计。
🎯
关键要点
- 边际似然在贝叶斯推断中是条件变量的先验分布上似然函数的期望值。
- 计算边际似然的确切值通常是不可行的，尤其是在高维度情况下。
- 蒙特卡洛方法是一种直观的边际似然估计方法，但在小样本和高维情况下可能存在高方差问题。
- 重要性采样方法通过建议分布提供更准确的边际似然估计，尤其是当建议分布接近后验分布时。
- 在重要性采样中，建议分布的选择对估计的方差有显著影响。
- 许多优化算法（如变分推断和变分自编码器）可以学习接近后验分布的建议分布，从而用于边际似然的估计。
➡️
