本研究探讨了在批量二元决策中使用近似后验概率导致的超额风险问题，提供了校准前后遗憾的上下界公式，并识别了不同情况下的决策改进策略，表明多重校准方法能有效降低训练成本。这些策略在自然语言处理任务中对于收益与成本的平衡至关重要。

本论文提供了一种统一的理论来上界核回归的超额风险，并揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。该研究结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。

本文研究了带权最近邻分类器的超额风险和非负权重的渐近最优向量，结果表明该分类器的遗憾与未加权的k-最近邻分类器相比，仅与特征向量的维度有关。同时，在更大的维度上，权重最优。研究还证明，当允许使用负权重时，强平滑假设是可能提高收敛速度的。实证对比支持了本文的结果。

该研究探讨了存在重尾污染的高维情况下，强鲁棒回归估计器的特性。研究发现，需要进一步正则化以达到最佳性能。此外，研究还导出了岭回归的超额风险的衰减速率。公式可以方便地推广到更丰富的模型和数据分布。