BriefGPT - AI 论文速递
·
克服选择性分类系统评估中的常见缺陷
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
选择性分类方法可在低置信度预测时拒绝，可靠地应用于临床诊断等实际场景。通过提出广义风险覆盖曲线下的面积（AUGRC），该曲线满足所有要求，并可解释为未检测到故障的平均风险。实证结果表明，所提出的度量方法显著改变了度量排名中的5个数据集。
🎯
关键要点
- 选择性分类方法可以在低置信度预测时拒绝，适用于临床诊断等实际场景。
- 本研究定义了选择性分类中的多阈值评估度量的5个要求，包括任务对齐、可解释性和灵活性。
- 当前方法未能满足选择性分类的这些要求。
- 提出了广义风险覆盖曲线下的面积（AUGRC），该曲线满足所有要求，并可解释为未检测到故障的平均风险。
- 通过综合评估6个数据集和13个置信度评分函数，实证证明了AUGRC的相关性。
- 在6个数据集中，所提出的度量方法显著改变了度量排名中的5个数据集。
🏷️
标签
➡️
