经验风险最小化与 f - 散度家族中的正则化的等价性
内容提要
本文汇总多项研究，涵盖差分隐私经验风险最小化算法及其非凸推广、高维广义线性模型推断的统计精度界限、f散度与似然比的变分表征估计、f散度不等式及与积分概率度量的对偶关系、min-max f散度公平分类与f-EBM框架，以及ERM偏差方差分解和高维鲁棒线性回归一致性分析。
延伸解读
差分隐私ERM的算法进展
文章指出，在差分隐私经验风险最小化问题上，新算法实现了更少的梯度复杂度，并将理论保证从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸函数，给出了比传统算法更紧的上界。这意味着在隐私保护机器学习中，非凸模型的训练效率和理论边界得到改善，但实际应用仍需考虑具体条件。
高维GLM推断的统计精度界限
针对高维广义线性模型，研究首次表征了凸ERM的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了优化调整。这为高维推断提供了理论基准，但实际中损失函数和正则化参数的选择仍需依赖数据，可能影响界限的达到。
f散度估计与公平分类框架
文章汇总了f散度的变分表征估计方法，包括基于非渐进变分表征的凸优化方法，可估计f散度和似然比，并达到最优最小风险速率。同时，min-max F-divergence规则框架通过两个可训练网络学习公平分类模型，在多个敏感属性和高维数据集上平衡准确性与公平性，实验显示最先进性能。
ERM的偏差方差与鲁棒回归一致性
研究探讨了ERM在最小化最大化次优误差率下的偏差和方差分解，证明ERM在偏差方面存在明显缺陷，并讨论了可接受性定理和稳定性。在高维鲁棒线性回归中，最优正则化的ERM在大样本下渐近一致，但评估误差时，由于规范标定失配，一致性要求完美计算最优规范或存在未受离群值污染的交叉验证集。
Q&A
差分隐私经验风险最小化算法在非凸损失函数下有什么进展？
本文提出了比传统算法梯度复杂度更少的算法，并将结果从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸函数，给出了更紧的上界。
高维广义线性模型推断中，ERM的统计精度界限是如何刻画的？
本文首次表征了凸形ERM在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。
如何估计f-散度和似然比？
本文提出了一种基于非渐进变分表征的凸经验风险优化方法，用于估计f-散度和两个概率分布的似然比，通过解决标准凸规划求解，可以实现简单的实现，可在某些情况下达到最优最小风险速率。
f-散度不等式有哪些系统性获取方法？
本文介绍了函数占优方法、基于矩不等式和对数凸性属性的方法等系统性方法来获得在任意字母表上定义的概率测度对之间的f-差异不等式，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括“reverse Pinsker不等式”和广义化的总变差距离Eγ差异。
min-max f-divergence公平分类框架是如何工作的？
该框架通过两个可训练网络（分类器网络和偏差/公平估计器网络），使用统计概念中的F-divergence度量公平性，学习公平的分类模型，同时保持高准确率，可适用于多个敏感属性和高维数据集。实验结果显示该框架在准确性和公平性之间的平衡方面实现了最先进的性能。
ERM的偏差和方差分解问题有什么研究结论？
本文研究了Empirical Risk Minimization在最小化最大化次优误差率下的偏差和方差分解问题，证明了在偏差方面，ERB存在明显缺陷。同时，文中探讨了ERM的可接受性定理，并扩展到固定设计和随机设计的各种模型中。最后，提出了ERM的稳定性，以及一定条件下ERM的近似极小化不足的情况。
