逻辑回归的可证明准确性随机抽样算法
内容提要
本文综述逻辑回归的子抽样与重采样方法，提出快速子抽样算法及基于最优子采样概率的改进估计量，渐近与数值结果均显示效率更高；泊松子抽样算法无需一次性近似最优概率，可节省内存。研究还揭示大样本下MLE偏差方差偏大、LRT失效，并比较高维不确定性估计及coreset与最优子采样方法，发现其常不及均匀抽样。
延伸解读
大样本下逻辑回归推断的隐患
文章指出，当样本量与自变量个数之比增大时，极大似然估计的偏差和方差会远大于经典预测，常用的似然比检验也不再服从卡方分布。这意味着许多统计软件基于经典理论给出的推断可能不可靠，读者在应用逻辑回归时需警惕大样本下的推断偏差。
子抽样算法的效率与内存优势
基于最优子采样概率的改进估计量在渐近和数值结果中均显示出更高的估计效率。泊松子抽样算法无需一次性近似最优概率，避免了计算问题，并在内存不足时具有优势。若采样速率不收敛于零，泊松子抽样还能产生更高效的估计量。
coreset与最优子抽样未必优于均匀抽样
文章直接比较了来自coreset和最优子抽样文献的多个逻辑回归方法，发现它们有效性不一致，很多情况下并未超过简单的均匀抽样。这提示研究者和实践者不应盲目认为复杂抽样方法一定更好，均匀抽样仍是重要的基准。
Q&A
逻辑回归的子抽样算法主要能解决什么问题？
逻辑回归的子抽样算法主要利用优化方法降低计算时间，通过理论和实验分析验证其性能，从而加速逻辑回归模型的计算。
在逻辑回归中，当样本量和自变量个数的比例变大时，MLE 和 LRT 会有什么问题？
当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。
基于泊松子采样的新算法有什么优势？
该算法不需要一次性近似最优子采样概率，避免了计算问题，并且当随机存储器的可用空间不足以存储全部数据时有计算优势。如果采样速率不收敛于零，渐近分布表明泊松子采样可以产生更高效的估计量。
改进的逻辑回归估计方法使用了什么概率？其效率如何？
改进的逻辑回归估计方法使用了2018年Wang等人提出的最优子采样概率。无论是渐近结果还是数值结果都说明新的估计量具有更高的估计效率。
coreset 和 optimal subsampling 方法在逻辑回归中的表现如何？
对来自于 coreset 和 optimal subsampling 文献的多个 logistic regression 方法进行了直接比较，发现它们有效性上存在不一致性，很多情况下这些方法都没有超过简单的均匀抽样。
逻辑回归模型的样本复杂度受哪些因素影响？
逻辑回归模型的参数估计受到维数和逆温度的影响，其样本复杂度曲线在逆温度上具有两个临界点，明确地分割低、中、高温度区间。
