先验确定预测试概率

💡 原文中文,约1100字,阅读约需3分钟。
📝

内容提要

本文综述多项统计推断研究:逻辑回归中样本量与自变量比例增大时,MLE偏差与方差远超经典预测,似然比检验不服从卡方分布,常用软件推断不可靠,高维下同样存在该问题;此外涉及差分隐私分布检验与变点检测、疾病诊断概率模型、贝叶斯先验与交叉验证评估、错误假设数量的置信区间,以及高能物理中基于似然的检验与Asimov数据集方法。

🔎

延伸解读

逻辑回归推断的常见陷阱

文章指出,在逻辑回归中当样本量与自变量个数的比例增大时,MLE的偏差和方差远超经典预测,似然比检验也不服从卡方分布。这意味着常用软件包给出的推断可能不可靠,读者在使用逻辑回归时需警惕样本量相对变量数不足的情况,不能盲目依赖默认的检验结果。

高维场景下的检验失效

当变量数p远大于样本量n时,逻辑回归的似然比检验同样不再服从卡方分布。文章提到有研究利用近似消息传递理论等方法证明了这一事实并探讨解决方案。这提醒读者在高维数据分析中,传统基于卡方分布的检验可能产生误导,需要采用更稳健的替代方法。

贝叶斯评估与先验敏感性

文章涉及贝叶斯模型拟合评估的新思路:将边缘似然与基于信息熵的leave-p-out交叉验证等效形式联系起来,并指出边缘似然对先验选择敏感。同时提出累积交叉验证作为替代方案。读者可从中了解到贝叶斯模型比较中先验选择的重要性,以及交叉验证的另一种实现视角。

高能物理中的Asimov数据集方法

在高能物理的似然检验中,文章介绍了Asimov数据集方法,用于在搜索或测量中简单获得中位实验灵敏度及其波动。该方法基于Wilks和Wald渐近分布的显式公式,并考虑了系统误差。这为物理实验中的发现和置信区间估计提供了一种实用的渐近工具,读者可关注其适用条件。

❓

Q&A

逻辑回归中样本量和自变量个数比例变大时,MLE和LRT会有什么问题?

当样本量与自变量个数的比例变大时,MLE的偏差和方差均远大于经典预测所得,常用的似然比检验(LRT)也不再服从卡方分布,因此现有软件包得出的推断不可靠。

高维逻辑回归中似然比检验还服从卡方分布吗?

不服从。当变量数量p远大于样本量n时,逻辑回归模型的似然比检验不再服从卡方分布,该结论由近似消息传递理论、非渐近随机矩阵理论和凸几何技术等方法证明,并探讨了相应解决方案。

差分隐私条件下如何区分两个分布并用于变点检测?

在差分隐私条件下,通过相应的随机化测试方法区分分布P和分布Q,并确定对应最佳样本复杂度的测试方法,进而将结果应用于私有变点检测,同时讨论了算法稳定性对检验假设的适用性及普适性。

如何评估贝叶斯模型拟合?边缘似然和交叉验证有什么关系?

提出将边缘似然与采用信息熵对数作为评分规则的、对所有大小为p的测试数据集迭代得出的穷举式leave-p-out交叉验证等效形式,并探讨了边缘似然对先验选择的敏感性,同时提出了累积交叉验证的替代方案。

如何估计大量独立检验中错误假设的数量?

提出一族方法,主要依据测试的p值来建立错误假设比例的下限置信区间,用于估计大量相互独立测试的零假设中错误假设的数量,动机来自天文学中的信号检测问题。

高能物理中基于似然的统计检验如何使用Asimov数据集?

介绍了高能物理中用于新现象发现和模型参数置信区间的基于似然的统计检验方法,聚焦测试程序性质(包括系统误差),推导了Wilks和Wald结果的渐近分布显式公式,并提出并证明使用代表性数据集Asimov数据集的方法,该数据集能简单获得搜索或测量中的中位实验灵敏度及期望波动。

🏷️

标签

➡️

继续阅读