MINDE: 互信息神经扩散估计
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
该文提出了一种新的方法来估计随机变量之间的互信息,基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度,并衍生出估计随机变量熵的方法。该方法比文献中的主要替代方法更准确,并通过自洽性测试。
🎯
关键要点
-
提出了一种新的方法来估计随机变量之间的互信息(MI)。
-
该方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度。
-
衍生出估计随机变量熵的方法。
-
该方法在挑战性分布情况下比文献中的主要替代方法更准确。
-
通过自洽性测试验证了方法的有效性,包括数据处理和独立性下的可加性。
🏷️
标签
➡️