从均场稳态分布中取样

💡 原文中文,约1700字,阅读约需4分钟。
📝

内容提要

本文提出一种无梯度的平均场常微分方程及相互作用粒子系统,用于从非标准化目标密度或贝叶斯后验中采样。通过求解Fisher-Rao梯度流路径的泊松方程获得速度场,并利用再生核希尔伯特空间拟设使其可解,进而离散为简单粒子系统。实验表明,该方法能从多种分布中生成高质量样本。

🔎

延伸解读

无梯度采样的优势

该方法无需计算目标密度的梯度,仅需从参考密度采样并计算目标与参考密度的比值。这降低了对目标密度可微性的要求,适用于梯度难以获取或计算成本高的场景,如某些贝叶斯后验。

与相关工作的联系

文章提及与随机微分方程稳态分析、因果推断中的稳定密度、Stein变分梯度下降等工作的关联。这些联系表明该方法处于更广泛的采样与推断研究脉络中,但具体差异需进一步阅读原文。

理论推导的两种视角

平均场常微分方程既可通过求解Fisher-Rao梯度流路径的泊松方程得到,也可从离散时间角度作为Monge-Ampere方程在样本驱动最优输运框架下的连续线性化极限。这提供了理论上的双重保证。

❓

Q&A

这篇论文提出的采样方法是什么?

该论文提出了一种新的平均场常微分方程和相应的相互作用粒子系统,用于从非标准化目标密度或贝叶斯后验中采样。这些粒子系统是无梯度的,具有封闭形式,仅需从参考密度采样并计算目标与参考密度的比值。

该方法如何获得速度场?

通过求解输运样本沿两个密度的几何混合的速度场的泊松方程获得平均场常微分方程,这是特定的Fisher-Rao梯度流路径。

如何使泊松方程易于处理?

使用再生核希尔伯特空间拟设来表示速度场,使得泊松方程易于处理,并能够将平均场常微分方程离散化成有限样本,形成简单的相互作用粒子系统。

该方法与Monge-Ampere方程有何联系?

平均场常微分方程还可以从离散时间角度推导出来,作为Monge-Ampere方程在一个被称为样本驱动最优输运的框架中连续线性化的极限。

该方法的实验效果如何?

实验表明,该相互作用粒子系统能够从具有不同特性的分布中生成高质量的样本。

该方法需要哪些计算条件?

该方法仅需要能够从参考密度中进行采样并计算(非标准化的)目标与参考密度的比值,不需要梯度信息。

🏷️

标签

➡️

继续阅读