期望最大化算法
内容提要
本文介绍了概率模型优化中的潜变量问题和期望最大化(EM)算法。EM算法通过交替的期望(E)步骤和最大化(M)步骤来优化概率模型参数。
延伸解读
潜变量为何让优化变难
文章指出，引入潜变量后，边际分布需要对潜变量积分或求和，当潜变量数量大时计算不可行。例如N个二值潜变量有2^N种组合，直接求和不可处理。这解释了为什么带潜变量的概率模型优化比无潜变量时更困难，也是EM算法要解决的核心问题。
EM算法如何绕过不可处理积分
EM算法不直接优化边际分布，而是优化联合分布的对数似然期望。E步计算Q函数，M步最大化Q函数。文章证明，每次迭代提升Q函数也会提升边际分布的对数似然，因此算法能逐步改进模型参数，直到参数变化足够小。
Q函数可处理的关键：无偏蒙特卡洛
文章解释，Q函数可通过从后验分布采样进行无偏蒙特卡洛估计，因为采样分布与期望分布一致。而边际分布若从先验采样估计，则因采样分布与期望分布不匹配而产生偏差。这一细微差别导致Q函数通常可处理，而边际分布不可处理。
EM与ELBO视角：交替最大化
文章将EM视为对证据下界（ELBO）的交替最大化：E步关于潜变量分布q最大化ELBO，M步关于参数θ最大化ELBO。当q等于后验时，ELBO等于边际对数似然。这一视角统一了EM的推导，并联系到变分推断。
Q&A
什么是期望最大化算法？
期望最大化算法（EM算法）是一种迭代优化算法，通过交替的期望步骤和最大化步骤来优化概率模型参数。
EM算法的E步骤和M步骤分别是什么？
E步骤计算给定观察到的随机变量和当前概率参数的联合分布的对数似然的期望值；M步骤计算最大化给定观察到的随机变量和潜变量的联合分布的对数似然的概率参数。
为什么潜变量在概率模型中重要？
潜变量用于建模未知过程的复杂性，使概率模型更加灵活，能够更好地近似真实的概率分布。
EM算法如何解决潜变量优化问题？
EM算法通过优化联合分布而不是直接优化边际分布来解决潜变量优化问题，从而提高边际分布的对数似然值。
EM算法的有效性如何体现？
EM算法的有效性在于每次迭代都能提高边际分布的对数似然值，直到概率参数的变化足够小。
在优化概率模型时，如何处理边际分布的计算困难？
由于边际分布的计算通常是不可处理的，EM算法通过近似推断算法来解决这一问题。
