搞定预测分析中的正确问题：AUC 不是问题
内容提要
近年来，机器学习模型的复杂性迅速增加，但评估方法未能跟上。研究提出三种新度量指标，发现性能更好的模型不一定是更新或更大的模型。同时，质疑AUC作为异常检测标准的适用性，强调需要探索更真实的模型性能评估方法。建议在聚类验证中使用Precision-Recall曲线作为更合适的指标。
延伸解读
评估方法滞后于模型发展
文章指出，过去十年机器学习模型的尺寸和复杂性迅速增长，但评估其性能的方法未能跟上步伐。仅依赖测试ROC曲线得分只能对模型性能和泛化能力提供有限见解。这提醒我们，在模型日益复杂的背景下，需要重新审视评估指标是否仍然适用，避免因评估方法陈旧而得出片面结论。
AUC在异常检测中的适用性存疑
文章质疑AUC作为异常检测性能标准的合适性，指出实践中可能存在偏差。研究发现，注重低假阳率下的AUC表现良好，且仅在具有代表性的异常样本时才能比较异常检测器。这提示在许多情况下，主动或少数样本学习可能比纯粹的异常检测更有效，选择评估指标时需考虑实际数据分布。
AUPRC与AUROC的关联及误解
文章通过数学分析证明，从概率角度看，AUPRC和AUROC可以简洁地相互关联。同时，对超过150万篇论文的大规模分析揭示了AUPRC被广泛接受的先入为主观念缺乏实证支持，存在误导趋势。这强调了对度量标准性能的深入理解至关重要，机器学习社区应警惕未经证实的假设。
聚类验证中Precision-Recall曲线的优势
文章探讨了在聚类验证中利用混淆矩阵和派生度量衡量模型性能的可行性，并提出使用Precision-Recall曲线及相关度量作为聚类验证指标，在聚类失衡情况下更为合适。实验验证表明，该方法的可靠性与其在有监督学习中的表现一致，为无监督学习评估提供了新思路。
Q&A
为什么现有的模型评估方法无法跟上机器学习模型的复杂性？
现有的模型评估方法未能跟上机器学习模型的复杂性，主要是因为仅依赖于测试ROC曲线的得分无法全面反映模型的性能和泛化能力。
AUC在异常检测中是否适用？
文章质疑AUC作为异常检测标准的适用性，指出在许多情况下，AUC可能与实际精度存在较大偏差。
有哪些新的度量指标被提出用于模型评估？
研究提出了三种新度量指标，以解决现有度量指标在选择性回答方面的局限性。
在聚类验证中，推荐使用什么指标？
建议在聚类验证中使用Precision-Recall曲线作为更合适的指标。
为什么需要探索不同的模型性能评估方法？
需要探索不同的模型性能评估方法，以获取更真实的模型性能，尤其是在安全关键应用中。
AUC-opt算法的作用是什么？
AUC-opt算法用于寻找证明最优AUC的线性分类器，并在实验中显示出相较于其他方法的改善。
