MINDE: 互信息神经扩散估计

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

该文提出了一种新的方法来估计随机变量之间的互信息,基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度,并衍生出估计随机变量熵的方法。该方法比文献中的主要替代方法更准确,并通过自洽性测试。

🎯

关键要点

  • 提出了一种新的方法来估计随机变量之间的互信息(MI)。

  • 该方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度。

  • 衍生出估计随机变量熵的方法。

  • 该方法在挑战性分布情况下比文献中的主要替代方法更准确。

  • 通过自洽性测试验证了方法的有效性,包括数据处理和独立性下的可加性。

➡️

继续阅读