重新参数化技巧
内容提要
本文介绍了在神经网络编码潜在变量的有向概率图模型中，模型优化常遇到的问题：采样函数对生成潜在变量样本的参数不可微分。为了解决这个问题，提出了重新参数化技巧，通过将随机变量以确定性方式转换，使得采样函数对生成样本的参数可微分。文章详细介绍了有向概率图模型的定义、学习模型参数的方法、不可微分采样函数的问题以及重新参数化技巧的原理和应用。
延伸解读
为什么需要重新参数化技巧
在有向概率图模型中，当潜在变量由神经网络编码时，通常需要从后验分布中采样来估计期望。然而，采样操作本身对生成样本的参数（如均值和方差）不可微，导致无法通过梯度下降更新这些参数。重新参数化技巧通过将随机性分离到一个固定的无参数分布中，使采样结果对参数可微，从而解决了这一问题。
重新参数化的数学原理
重新参数化技巧基于变量变换的概率密度关系。若随机变量X可由另一个随机变量Z通过确定性函数r变换得到，即X = r(Z)，且r是一对一变换，则X的概率密度可由Z的概率密度和变换的雅可比行列式表示。通过选择合适的r，可以使X服从目标分布，同时保持对分布参数的依赖性，从而使采样过程可微。
单变量与多变量正态分布的应用
对于单变量正态分布，若X ~ N(μ, σ²)，可通过标准正态分布Z ~ N(0,1)构造X = μ + σZ，此时采样对μ和σ可微。对于多变量正态分布，若X ~ N(μ, Σ)，可通过标准多变量正态分布Z ~ N(0, I)构造X = μ + LZ，其中L是Σ的Cholesky分解下三角矩阵，满足Σ = LLᵀ。这样，采样对μ和Σ可微，便于梯度下降优化。
Q&A
什么是重新参数化技巧？
重新参数化技巧是一种将随机变量以确定性方式转换的方法，使得采样函数对生成样本的参数可微分。
有向概率图模型的定义是什么？
有向概率图模型，也称为贝叶斯网络，是通过有向无环图表示随机变量及其条件依赖关系的概率图模型。
在学习有向概率图模型参数时常用的方法有哪些？
学习有向概率图模型参数的方法通常包括封闭形式解和蒙特卡洛方法。
为什么采样函数不可微分会影响模型优化？
如果采样函数不可微分，则无法计算生成样本的参数的梯度，从而影响模型的优化过程。
如何通过变量变换构造满足所需分布的随机变量？
通过变量变换的概率密度函数关系，可以构造满足所需分布的变量变换，确保原始随机变量和变换后的随机变量属于同一分布族。
单变量正态分布的重新参数化示例是什么？
单变量正态分布的重新参数化示例是通过标准正态分布构造所需的正态分布，变换为X = μ + σZ。
