薛定谔的门槛：当 AUC 不能预测准确度
内容提要
本研究提出了三个度量指标以解决选择性回答的局限性，发现性能更好的模型不一定是较新或较大的预训练模型。同时，质疑AUC作为异常检测性能标准的适用性，强调在低假阳率下的AUC表现。研究还提出了高效算法AUC-opt，探讨了聚类验证中的新方法，并提出优化AUC的新损失函数。
延伸解读
AUC 作为异常检测标准的适用性争议
文章质疑 AUC 是否是衡量异常检测性能的合适标准，并指出实践中可能存在偏差。作者发现，只有在低假阳率下 AUC 表现良好，并且仅在具有代表性的异常样本时才能比较异常检测器。这一结果提示，在许多情况下，主动或少数样本学习可能比纯粹的异常检测更合适。
选择性回答模型的性能与模型规模无关
针对选择性回答的局限性，研究提出三个度量指标，实验表明性能更好的选择性回答模型并不一定是较新或较大的预训练模型。这一发现挑战了模型越大越新的常见假设，有望促进针对安全关键应用的更好模型的发展。
AUC 优化的算法进展与局限
文章介绍了高效算法 AUC-opt，用于寻找证明最优 AUC 的线性分类器，并证明问题在一定条件下是 NP 完全的。该算法在实验中优于其他方法，但在大多数测试数据中表现并不如标准分类器。此外，还有研究提出避免成对比较的替代损失函数，具有线性时间和存储复杂度。
ROC 曲线比较中的插值方法影响
研究比较了二元预测变量的 ROC 曲线与 AUC 值之间的关系，发现线性插值法虽然最为普遍，但不一定得出最正确的性能评价。同时比较了阶梯函数插值法和 pessimistic 插值法的优缺点，建议在结果中说明插值法的使用方式，以避免误导性结论。
Q&A
研究中提出了哪些新的度量指标？
研究提出了三个度量指标以解决选择性回答的局限性。
AUC在异常检测中的适用性存在哪些问题？
研究质疑了AUC作为异常检测性能标准的适用性，强调在低假阳率下的AUC表现。
AUC-opt算法的主要目标是什么？
AUC-opt算法旨在寻找证明最优AUC的线性分类器。
研究中提到的聚类验证方法有哪些？
研究探讨了利用混淆矩阵和派生度量的聚类验证方法，以及使用Precision-Recall曲线作为聚类验证指标。
新的损失函数如何优化AUC？
新的损失函数避免了训练数据之间的成对比较，具有线性的时间和存储复杂度。
研究对未来工作的建议是什么？
研究提供了对深度学习AUC最大化的剩余和新兴问题的讨论，并提出未来工作的建议。
