深入研究类别不平衡下的 AUROC 和 AUPRC
内容提要
本文综述了AUPRC与AUC优化的研究进展，涵盖：基于SOAP采样的AUPRC优化方法及其收敛性证明；提升收敛速度的随机动量与自适应方法；解决多方协同AUPRC最大化的SLATE算法；Precision-Recall曲线在聚类验证中的应用；线性复杂度的AUC替代损失函数；深度学习中组合损失与AUROC最大化的实验研究；20年AUC最大化文献综述；评估OOD检测的AUTC指标；以及AUC-opt算法及其NP完全性证明。
延伸解读
AUPRC优化：从采样到收敛性证明
文章指出，基于SOAP采样的AUPRC优化方法首次通过证明收敛性来优化AUPRC，并在图像和图形数据集上优于先前方法。这表明AUPRC优化正从经验方法转向有理论保证的算法设计，为类别不平衡场景下的模型评估与优化提供了更可靠的基础。
随机优化加速AUPRC最大化
针对AUPRC最大化的随机优化问题，文章介绍了随机动量方法和随机自适应方法，分别提升收敛速度和迭代次数复杂度。这些方法旨在解决AUPRC优化中的效率瓶颈，使直接优化AUPRC在大规模数据上更具可行性。
多方协同与聚类验证中的AUPRC应用
SLATE算法首次解决无服务器多方协同学习中的AUPRC最大化问题，利用方差缩减改进收敛速度。同时，Precision-Recall曲线被引入聚类验证，在聚类失衡时比传统指标更合适，且可靠性在有监督学习中一致。这拓展了AUPRC在分布式学习和无监督评估中的用途。
AUC优化的效率与局限
文章提到线性复杂度的AUC替代损失函数避免了成对比较，降低了时间和存储开销；AUC-opt算法虽能寻找最优AUC的线性分类器并证明问题NP完全，但在多数测试数据中表现不如标准分类器。这提示AUC优化需权衡理论最优与实际性能，并非所有场景都适用。
Q&A
AUPRC优化中SOAP采样方法有什么特点？
SOAP采样算法用于提高分类性能，结合随机组合优化技术，在图像和图形数据集上实验表明，在AUPRC方面优于先前方法，并且是首次通过证明收敛性来优化AUPRC的尝试。
如何提升AUPRC优化的收敛速度？
通过开发随机动量方法和随机自适应方法，分别提升算法的收敛速度和迭代次数复杂度，并通过实验验证了效果。
多方协同学习中如何直接优化AUPRC？
SLATE算法（ServerLess偏置随机梯度）用于直接优化AUPRC，使用方差缩减技术改进收敛速度，是首个解决多方协同AUPRC最大化问题的工作。
聚类验证中Precision-Recall曲线有什么作用？
利用Precision-Recall曲线及相关度量作为聚类验证指标，在聚类失衡情况下更为合适，实验验证其可靠性与其在有监督学习中的表现相一致。
有哪些线性复杂度的AUC优化替代损失函数？
提出了一种新的替代损失函数来优化AUC，避免了训练数据之间的成对比较，具有线性的时间和存储复杂度，并在在线学习和批处理算法上实验验证了有效性。
深度学习中如何最大化AUROC？
通过实验证明组合性损失函数具有更好的性能表现，并针对正样本采样率、正则化、归一化/激活和优化器等算法进行深度AUROC最大化的讨论和探究。
AUC最大化过去20年有哪些研究进展？
概述了过去20年与AUC最大化相关的文献，提供从公式到算法和理论保证的详细解释和比较，并对深度学习AUC最大化的剩余和新兴问题进行讨论，提供未来工作建议。
OOD检测中AUTC指标是什么？
AUTC（Threshold Curve下的面积）是一个新的评价指标，用于惩罚ID和OOD之间差异性不足的情况，弥补了仅用二分类任务衡量OOD检测性能且忽略检测阈值影响的不足。
AUC-opt算法及其NP完全性是什么？
AUC-opt是一种高效算法，用于寻找证明最优AUC的线性分类器，并证明问题在一定条件下是NP完全的；实验表明该算法相较于其他方法有所改善，但在大多数测试数据中表现并不如标准分类器。
