.tex | MC→MCMC 蒙特卡洛模拟,基于马尔科夫链采样
内容提要
蒙特卡洛模拟是一种用于近似计算的方法,通过生成符合概率分布的随机样本来近似原概率分布。马尔科夫链蒙特卡洛模拟是其中一种方法,通过随机行走和扩散方程来模拟样本。MCMC的通用算法有Metropolis-Hastings和Gibbs采样。
延伸解读
MCMC 为何需要马尔可夫链
蒙特卡洛模拟通常要求样本独立同分布,但很多实际问题难以满足。例如计算高斯积分时,被积函数定义在整个实数集上,难以生成均匀随机数。MCMC 通过随机行走生成样本,每一步只依赖前一步,形成马尔可夫链,从而绕开独立采样的困难。这种依赖结构是 MCMC 的核心特征,也是其适用性的来源。
Metropolis-Hastings 的接受机制
Metropolis-Hastings 算法通过提议函数生成候选样本,再根据目标分布的比例决定是否接受。若候选样本概率不低于当前样本,则直接接受;否则以概率接受。这种机制保证马尔可夫链最终收敛到目标分布。但早期样本可能偏离目标分布,因此通常需要丢弃一段“预热期”样本,再用于估计。
Gibbs 采样的维度更新策略
Gibbs 采样针对多维随机变量,在每一步迭代中依次更新每个分量。与一般 MCMC 不同,更新某个分量时,可以直接使用本轮已更新的其他分量,而不必全部依赖上一轮的值。这种策略能简化高维采样,但要求条件分布易于采样。文中指出 Gibbs 采样更多是一种思路,而非完整算法。
Q&A
什么是蒙特卡洛模拟?
蒙特卡洛模拟是一种通过生成随机样本来近似计算的方法。
马尔科夫链蒙特卡洛模拟(MCMC)是如何工作的?
MCMC通过随机行走生成符合目标概率分布的样本,利用马尔科夫过程确保样本之间的独立性。
Metropolis-Hastings算法的基本步骤是什么?
Metropolis-Hastings算法包括初始化采样点、选择采样函数、计算接受概率并决定是否加入样本。
Gibbs采样有什么特点?
Gibbs采样允许在多维向量情况下简化取样过程,不必让每个维度都依赖于前一步的所有分量。
蒙特卡洛模拟如何计算π的近似值?
通过在正方形内随机扔沙子,记录落在圆内的沙子数量,利用概率计算π的近似值。
MCMC的优势是什么?
MCMC能够处理复杂的概率分布,尤其是在样本独立性难以保证的情况下,提供有效的取样方法。