从不确定性到精确性：通过校准提升二元分类器性能
内容提要
本文综述机器学习分类器的过度置信与欠置信问题，介绍准确率、校准度等度量标准及其不足，并开展实证研究、开源度量库。研究发现不同度量标准对校准度优化与评价的结论可能截然不同。相关研究提出统一校准评估框架、回归校准方法、领域级校准误差指标及基于核的校准指标，并探索最小风险校准与贝叶斯校准程序。
延伸解读
校准度量标准的选择困境
文章指出，不同的校准度量标准对分类器校准度的优化与评价可能得出截然不同的结论。这意味着在实际应用中，仅依赖单一指标（如准确率校准度）可能产生误导。读者需注意，评估校准度时应结合多个指标，并考虑具体任务需求，避免因度量选择偏差而做出错误决策。
利用不确定性提升决策边界性能
一项研究通过动态规划和保序回归算法，将模型得分与不确定性结合，在高精确度边界下实现了25%-40%的召回率提升。这表明，在决策边界选择时，不确定性信息具有重要价值。对于需要高精度决策的场景，忽略不确定性可能导致性能损失，而合理利用则可显著改善召回率。
校准方法的多样性与适用性
文章综述了多种校准方法，包括基于核的校准指标、直方图分箱后处理、最小风险校准和贝叶斯校准程序等。这些方法在不同任务（如分类、回归、物体检测）中表现出各自优势。读者应根据数据特性和任务目标选择合适方法，例如贝叶斯方法适合需要区间预测的场景，而直方图分箱则能维持判别能力。
Q&A
机器学习分类器中的过度置信和欠置信问题是什么？
过度置信和欠置信是分类器置信度与真实概率不匹配的现象，即模型预测的置信度不能准确反映其实际正确率。
准确率校准度这个度量标准有什么缺点？
准确率校准度作为衡量分类器置信度的度量标准存在不足，但文章未具体说明其缺点。
不同校准度量标准对分类器校准度的优化与评价会带来什么影响？
实证研究发现，不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。
有哪些校准评估框架被提出？
2019年4月的一篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。
基于核的校准评估指标是什么？
基于核的校准评估指标将校准问题视为分布匹配任务，用于分类和回归，通过优化实证风险最小化的校准目标，在决策任务中提供直观机制来量化指标和做出准确的损失估计和无悔决策。
贝叶斯校准程序有什么作用？
贝叶斯校准程序可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。
