关于顺序预测中的校准距离
内容提要
本文综述预测校准研究：单一评分规则无法保证对所有代理低后悔，但校准预测可保证罕见子线性后悔，并提出U-校准度量。后续研究涵盖多类别校准、无分布不确定性量化、在线多校准、领域级校准误差、决策校准、预测对冲、奇偶校准及无参普适预测等，推动二分类与回归任务的校准理论与算法发展。
延伸解读
校准预测的理论优势
文章指出，单一评分规则无法保证对所有代理低后悔，但校准预测能保证所有代理罕见子线性后悔。这意味着校准预测在长期决策中具有理论优势，能避免因评分规则选择不当而导致的系统性偏差。U-校准度量进一步量化了预测序列在任意有界评分规则下的最大后悔，为评估预测质量提供了新视角。
多类别校准与无分布不确定性
文章综述了多类别校准的高效算法，能在多项式时间和样本复杂度内获得强保证。同时，无分布不确定性量化研究建立了标定、置信区间和预测集之间的联系，明确了基于评分函数的分类器才能进行无分布标定的必要条件，并推导了固定宽度和统一质量分组的置信区间，这些进展推动了二分类与回归任务的校准理论发展。
在线与领域级校准的进展
在线多校准算法适用于无限基准类，能同时为所有Lipschitz凸损失函数提供无悔承诺。领域级校准误差则关注决策者敏感的输入领域，通过神经校准方法利用验证集信息提升校准性能。这些工作表明校准研究正从传统二分类向更复杂的在线场景和领域特定需求扩展，增强了实际应用中的鲁棒性。
决策校准与预测对冲的应用
决策校准要求预测分布与真实分布在一组决策者下不可区分，并设计了多项式时间复杂度的重新校准算法，在皮肤病和ImageNet分类中验证有效。预测对冲通过确定性和随机方法提高预测准确性，并给出了连续校准的改进定义。这些概念将校准与决策过程紧密结合，提升了预测在现实任务中的实用价值。
Q&A
为什么单一评分规则不能保证对所有代理低后悔？
因为单一评分规则无法同时满足所有可能代理的偏好，所以不能保证对所有代理低后悔。
U-校准是什么？
U-校准是一种新的度量标准，用于评估预测序列在受到任何有界评分规则评估时的最大后悔。
多类别校准方法有什么特点？
该方法通过多项式时间和样本复杂度高效校准预测器，为二元分类问题提供强有力的保证。
无分布不确定性量化中，标定、置信区间和预测集之间有什么关系？
研究建立了连接这三个概念的三角脚架，并明确了使用基于评分函数的分类器才能进行无分布标定的必要条件。
在线多校准算法有什么优势？
该算法适用于无限的基准类F，是基于预言机的高效算法，可同时为所有Lipschitz凸损失函数提供无悔承诺。
决策校准是什么？
决策校准指预测分布与真实分布在一组决策者下是“不可区分的”，并设计了多项式时间样本复杂度的重新校准算法。
