通过在统计流形上沿广义测地线进行采样的密度比估计
内容提要
本文提出了多种密度比估计方法,包括基于核算子特征函数的估计器、相对散度方法和Telescoping Density-Ratio Estimation (TRE)。这些方法在高维数据中具有良好的收敛速度和有效性,适用于处理复杂概率分布和异常值,适合互信息估算和能量建模等任务。
关键要点
-
提出了一种基于核算子特征函数的密度比估计器,避免了显式降维步骤,适用于极端高维下的似然函数估计问题。
-
基于相对散度的密度比较方法能够更好地处理密度比例函数中的高峰和波动,具有良好的非参数收敛速度和模型复杂度。
-
通过分析正则化 Bregman 散度的密度比率估计方法,得出新的有限样本误差界,并提出 Lepskii 类的参数选择原则。
-
基于 DRE-∞的蒙特卡罗方法能够更准确地估算高维数据中的概率分布之间的密度比率,适用于互信息估算和能量建模。
-
提出了一种新的非参数估计方法,直接估计概率密度间的差异,收敛速度优越,实用性得到验证。
-
Telescoping Density-Ratio Estimation (TRE) 框架在高维空间中估算高度不同密度之间的密度比,显著改进了互信息估算和表示学习。
-
研究密度比的推断问题,应用半参数密度比估计器于双样本均匀性检验,导出 f-差异的最优估计器。
-
提出新的图论解释下的直接估计方法,用于估计 Renyi 和 f-divergence 的度量,适用于具有连续和有界导数的密度函数的估计。
-
提出一种鲁棒的密度比估计方法,能够自动识别和修剪异常值,进行全局优化。
延伸问答
什么是基于核算子特征函数的密度比估计器?
基于核算子特征函数的密度比估计器避免了显式降维步骤,能够更好地反映数据的几何结构,适用于极端高维下的似然函数估计问题。
相对散度方法在密度比估计中有什么优势?
相对散度方法能够更好地处理密度比例函数中的高峰和波动,具有良好的非参数收敛速度和模型复杂度。
Telescoping Density-Ratio Estimation (TRE) 框架的主要应用是什么?
TRE 框架用于估算高维空间中高度不同密度之间的密度比,显著改进了互信息估算和表示学习。
如何通过蒙特卡罗方法估算高维数据中的密度比率?
基于 DRE-∞的蒙特卡罗方法能够更准确地估算高维数据中的概率分布之间的密度比率,适用于复杂任务。
文中提到的鲁棒密度比估计方法有什么特点?
鲁棒密度比估计方法能够自动识别和修剪异常值,并进行全局优化。
如何进行双样本均匀性检验?
通过应用半参数密度比估计器于双样本均匀性检验,导出 f-差异的最优估计器。