如何验证机器学习回归任务的平均校准性？
内容提要
该文综述回归模型不确定性校准研究，涵盖核嵌入、直方图聚类、缩放校准、归一化校准误差改进及贝叶斯校准等方法，并在COCO、KITTI等数据集上验证，表明这些方法能提升预测区间校准与鲁棒性。
延伸解读
校准评估的稳健性考量
文章指出归一化校准误差（ENCE）对数据分组数量敏感，而标准差校准误差（ZVE）对离群值不敏感，更为稳健。因此，在实际评估回归模型校准性时，应优先考虑ZVE等稳健指标，并注意分组数量对结果的影响，避免因评估指标选择不当而得出误导性结论。
校准方法的适用场景
文章综述了多种校准方法，如核嵌入、直方图聚类、缩放校准和贝叶斯校准等。这些方法各有特点：核嵌入方法在大样本下校准误差渐近收敛于零；直方图聚类和缩放校准在COCO和KITTI数据集的边界框回归任务中表现良好；贝叶斯校准能稳定输出准确区间预测。读者可根据任务需求和数据规模选择合适方法。
校准与公平性诊断的关联
多校准算法不仅能预测标签分布的期望值，还能预测更高阶矩，这为在各个子群体上估计不确定性和诊断特征的不公平性提供了原则性方法。因此，校准技术不仅提升预测可靠性，还可用于检测模型在不同子群体上的表现差异，辅助公平性分析。
Q&A
如何验证机器学习回归任务的平均校准性？
可以使用归一化校准误差（ENCE）等统计量来评估回归模型的不确定性校准。但ENCE对分组数量敏感，且对离群值不鲁棒。标准差校准误差（ZVE）对离群值不敏感，比ENCE更鲁棒，可作为校准检验。
有哪些方法可以校准回归模型的不确定性？
常见方法包括：基于最大平均偏差最小化核嵌入度量的校准回归方法、基于直方图的聚类方法、基于缩放的校准方法、经验性地校准回归不确定性分布（CRUDE）、贝叶斯校准程序等。这些方法在COCO、KITTI等数据集上验证有效。
核嵌入校准方法在回归任务中效果如何？
使用最大平均偏差最小化核嵌入度量的校准回归方法，在样本量足够大时校准误差渐近收敛于零，实验表明能产生良好校准和尖锐的预测区间，优于相关现有技术。
贝叶斯校准在回归不确定性估计中有什么作用？
贝叶斯校准程序可以保证在足够数据下，任何回归算法都能产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络，能稳定输出准确的区间预测，提高时间序列预测和基于模型的强化学习性能。
归一化校准误差（ENCE）有什么局限性？
ENCE的误差与所选数据分组数量相关，且对离群值敏感。标准差校准误差（ZVE）对离群值不敏感，相对于ENCE更为鲁棒，同时可作为校准检验。
多校准算法在回归任务中能实现什么？
多校准算法不仅能预测标签分布的期望值，还能预测更高阶矩，为在各个子群体上估计不确定性和诊断特征的不公平性提供了一个原则性的方法。
