无穷范数下的分布估计

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

该文汇总多项统计估计研究,涵盖离散分布估计的最大风险与极小风险界、分布式参数估计的统一框架及紧下界、基于经验似然与分布鲁棒的随机优化置信区间、Renyi散度估计算法及收敛界、KL距离模型选择的聚合与神谕不等式、指数族概率密度估计、基于凸对偶与快速梯度法的最大熵分布估计,以及序统计量的非渐近方差与尾部界。

🔎

延伸解读

离散分布估计的极小风险分析

文章分析了离散分布估计问题,给出了最大风险和最小极小风险的上下界,并推导了在特定条件下最大风险极小风险的渐近性能。通过该研究,可以得到经验分布估计中的渐近最大风险和最小极小风险,并且通过对概率分量估计确定了渐近最小极小风险。这为离散分布估计的误差下界提供了理论依据。

分布式参数估计的统一框架与紧下界

文章提出了一个统一的框架,用于基于交互式协议的分布式参数估计,可以导出各种紧下界,适用于不同的参数分布族。特别是在高斯分布族的原型情况下,该方法能够规避以往技术的局限性,并补充了匹配的上界。这为分布式估计中的下界分析提供了通用工具。

基于经验似然与分布鲁棒的置信区间

文章研究了基于经验似然和分布鲁棒解的随机优化问题的统计推断,关注最优值的置信区间和渐近精确覆盖。提出了基于非参数f-分歧球构建的分布不确定性集合的广义经验似然框架,用于Hadamard可微函数和随机优化问题,提供了选择分布不确定性区域大小的方法,以实现精确覆盖的单侧和双侧置信区间。

Renyi散度估计的算法与收敛界

文章研究了非参数统计学中估计分歧的问题,提出了一种Renyi-alpha分歧的估计算法,并给出了一个关于该算法的指数不等式一致收敛边界,并通过数值实验验证了该算法。这为Renyi散度的估计提供了理论保证和实用算法。

❓

Q&A

离散分布估计中最大风险和极小风险有什么理论界?

该研究分析了离散分布估计问题,提供了最大风险和最小极小风险的上下界,并得出在特定条件下最大风险极小风险的渐近性能。通过该研究可得出在经验分布估计中的渐近最大风险和最小极小风险,并且通过对概率分量估计确定了渐近最小极小风险。

分布式参数估计的统一框架是什么?

本文提出了一种统一的框架,用于基于交互式协议的分布式参数估计,可以导出各种紧密下限,适用于不同的参数分布族;特别是在高斯家族的原型情况下,我们的方法可以规避以往技术的局限性,并补充了匹配的上限。

如何用经验似然和分布鲁棒方法做随机优化的置信区间?

本文研究了基于经验似然和分布鲁棒解的方法进行随机优化问题的统计推断,特别关注最优值的置信区间和渐近达到精确覆盖的解决方案。提出了一个基于非参数 f-分歧球构建的分布不确定性集合的广义经验似然框架,用于 Hadamard 可微函数和随机优化问题,从而提供了一个有原则的选择分布不确定性区域大小的方法,以实现达到精确覆盖的单侧和双侧置信区间。还给出了分布鲁棒公式的渐近展开,表明如何通过方差来规范化问题。最后,证明了分布鲁棒公式的优化器具有与经典样本平均逼近中的优化器基本相同的一致性属性。该方法适用于快速混合的平稳序列,包括几何上遗传的 Harris 递归马尔科夫链。

Renyi散度估计算法及其收敛界是什么?

本文研究非参数统计学中估计分歧的问题,提出了一种 Renyi-alpha 分歧的估计算法,并给出了一个关于该算法的指数不等式一致收敛边界,并通过数值实验验证了该算法。

KL距离模型选择的聚合方法有哪些?

本篇研究文章探讨了针对各种概率模型使用 Kullback-Leibler 距离的模型选择类型聚合问题。文章提出了两种聚合方法,并使用惩罚极大似然准则选择聚合权重,给出了高概率的锐利的神谕不等式和相应的下界结果。

如何用指数族估计概率密度?

使用无限维度的指数族函数族估算未知的概率密度,通过解决一个简单的有限维度线性系统,获得比非参数核密度估算器更好的结果,该估算器基于 Fisher 散度,可以在 Kullback-Leibler 散度下近似表示广泛类别的概率密度。

最大熵分布估计的凸对偶方法是什么?

本文提出了一个基于凸规划对偶性的新的近似方案,使用平滑的快速梯度方法来估计最大化熵的概率分布,同时满足一定数量的被噪声污染的时刻约束,进一步阐述了如何通过该方案来近似化学主方程和解决具有无穷状态和动作空间的约束马尔可夫决策过程的问题。

序统计量的非渐近方差和尾部界有哪些结果?

给定独立同分布随机变量的样本的序统计量的非渐近方差和尾部界限。当抽样分布属于最大吸引域时,这些界限被证明是渐近解。如果抽样分布具有非降的危险率(包括高斯分布),我们推导出序统计的指数 Efron-Stein 不等式,以将中心序统计的对数矩生成函数与 Efron-Stein(卡松尼)估计的方差的指数矩相联系。我们使用这个一般的连接来推导高斯样本的序统计的方差和尾部边界。这些界限不在茨瑞耶松-伊布拉吉莫夫-苏达科夫高斯浓度不等式的范围内。证明是基本的,结合了序统计的 Renyi 表示以及 M. Ledoux 普及的集中不等式的所谓熵方法。

🏷️

标签

➡️

继续阅读