克服选择性分类系统评估中的常见缺陷
内容提要
本文提出了一种模型不可知的方法，通过优化AUC选择函数，并使用AUCROSS算法实现最佳平衡。研究表明，AUPRC与AUROC之间存在关联，强调了对度量标准性能深入理解的重要性。此外，提出了新的评价指标和替代损失函数，以提升分类性能和模型可信度。
延伸解读
AUC 评估的局限性
文章指出，仅依赖测试 ROC 曲线下的面积（AUC）来评估模型，可能无法全面反映模型的性能和泛化能力。AUC 作为单一指标，在实际应用中可能与精度存在偏差，因此需要结合其他度量标准，如 AUPRC，并考虑校准模式，以更真实地评估模型。
AUPRC 与 AUROC 的关联
通过数学分析，文章证明 AUPRC 和 AUROC 在概率观点下可以相互关联。同时，对超过 150 万篇论文的大规模分析揭示了 AUPRC 被广泛接受的先入为主观念缺乏实证支持，强调了对度量标准性能深入理解的重要性，以及避免未经证实假设的危险性。
新评价指标 AUTC 与失败检测
针对 out-of-distribution 检测，文章提出新指标 AUTC，惩罚 ID 和 OOD 之间差异性不足的情况。此外，为衡量失败检测方法的适用性和模型可信度，提出了基于最优风险覆盖曲线下区域和模型在最优点性能的指标，实验验证了其有效性。
优化 AUC 的替代损失函数
文章提出一种新的替代损失函数来优化 AUC，避免了训练数据之间的成对比较，具有线性的时间和存储复杂度。通过在线学习和批处理算法的实验，说明了该方法的有效性，为提升分类性能提供了新途径。
Q&A
如何优化AUC选择函数以提高分类性能？
通过提出一种模型不可知的方法，结合AUCROSS算法，可以在覆盖率和AUC之间实现最佳平衡。
AUPRC和AUROC之间有什么关联？
研究表明，AUPRC和AUROC可以相互关联，这一发现通过新颖的数学分析得以证明。
有哪些新的评价指标可以提升模型可信度？
提出了新的评价指标AUTC，以及惩罚ID和OOD之间差异性不足的情况，以提升模型的可信度。
SOAP采样算法在分类性能中起什么作用？
SOAP采样算法用于提高分类性能，并结合随机组合优化技术进行优化。
如何衡量失败检测方法的适用性？
通过计算最优风险覆盖曲线下的区域和模型在此最优点上的性能，提出了衡量失败检测方法适用性和模型可信度的指标。
新提出的替代损失函数有什么优势？
新的替代损失函数优化AUC，避免了成对比较，具有线性的时间和存储复杂度，适用于在线学习和批处理算法。
