堆叠混淆拒绝图 (Score)
内容提要
本文提出了一种评估分类器性能的新方法，利用精确度和召回率曲线，验证了其在不同数据场景下的有效性。同时，研究探讨了机器学习中的拒绝机制，提出了自我学习框架和信任得分，以提高模型的透明性和可解释性，并通过实验验证了其在多类别分类中的应用效果。
延伸解读
拒绝机制在分类任务中的价值
文章指出，拒绝机制允许分类器在不确定时拒绝预测，从而提升可靠性。研究介绍了拒绝的两种类型及其评估方法，并探讨了在多类别分类中同时训练分类器和拒绝器的方法。这为需要高可信度的应用（如医学诊断）提供了新思路，但实际部署时需权衡拒绝率与覆盖率。
信任得分：超越传统置信度
信任得分通过度量分类器与修改后的最近邻分类器之间的一致性，提供了更可靠的预测评估。文章证明，高信任得分往往对应高分类精度，且优于传统置信度得分。在分布假设下，信任得分还能指示分类器与贝叶斯最优分类器的一致性，为模型评估提供了理论保证。
ScatterUQ：可视化不确定性
ScatterUQ系统利用距离感知神经网络和降维技术，生成二维散点图，帮助用户理解模型为何将样本预测为内部分布、内部分布但不确定或外部分布。通过悬停回调，用户可比较测试样本与训练样本的特征，从而直观评估模型不确定性并决定后续行动。该系统在Fashion-MNIST和MNIST上验证了有效性。
Q&A
如何评估分类器的性能？
可以通过使用精确度和召回率评估曲线来评估分类器的性能。
拒绝机制在机器学习中有什么作用？
拒绝机制可以提高模型的透明性和可解释性，并帮助处理样本偏差和拒绝推断问题。
什么是信任得分，它有什么优势？
信任得分度量分类器与修改后的最近邻分类器之间的一致性，优于传统的置信度得分，能够提供更高的分类精确度。
ScatterUQ系统的功能是什么？
ScatterUQ系统通过可视化帮助用户理解模型在不确定性环境中的性能，提供有针对性的可视化方式。
如何处理多类别分类中的拒绝机制？
可以通过同时训练分类器和拒绝器的方法来处理多类别分类中的拒绝机制。
该研究验证了新方法在哪些数据场景下的有效性？
该研究验证了新方法在人工基准数据、数据不平衡场景和医学实际数据上的有效性。
