MINDE: 互信息神经扩散估计

原文约300字,阅读约需1分钟。发表于:

通过基于 Girsanov 定理的新方法,我们提出了一种估计随机变量之间互信息(MI)的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度,并衍生出估计随机变量熵的方法。我们的结果表明,我们的方法在挑战性分布情况下比文献中的主要替代方法更准确,并通过自洽性测试,包括数据处理和独立性下的可加性。

该文提出了一种新的方法来估计随机变量之间的互信息,基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度,并衍生出估计随机变量熵的方法。该方法比文献中的主要替代方法更准确,并通过自洽性测试。

相关推荐 去reddit讨论