深度神经网络选择性分类基准测试
内容提要
本文综述选择性分类研究，通过为深度神经网络引入拒绝选项，在风险可控下提升分类性能，ImageNet 错误率降低2%、覆盖近60%。研究涵盖基于熵的正则化、SelectiveNet、差分隐私、选择性回归与集合，并发现ViT在不确定性估计上表现最优。
延伸解读
选择性分类的核心机制与收益
选择性分类通过为深度神经网络引入拒绝选项，允许模型在不确定时放弃预测，从而在风险可控下提升分类性能。文章指出，该方法在ImageNet上实现了约2%的top-5错误率，同时保持近60%的测试覆盖率。这意味着模型并非对所有样本都进行预测，而是对高置信度样本给出结果，其余则拒绝，从而在覆盖率和风险之间取得平衡。
选择性分类的公平性风险
文章提到，在存在虚假相关性时，选择性分类虽能提高平均准确度，却可能放大不同群体之间的准确度差异。对于对称边缘分布，其效果取决于完全覆盖下的准确度以及分布是否满足左对数凹性质。基于此，研究者训练了分布稳健模型，并表明选择性分类能在这些模型上统一改进每个群体的准确性，提示实际应用中需关注公平性问题。
隐私约束下的代价
在差分隐私约束下，选择性分类器的效能会降低，且随着隐私预算降低，需要付出相当大的覆盖成本。文章发现，一种基于现成深度学习模型生成检查点的方法在差分隐私下更为合适。这表明在隐私敏感场景中，选择性分类的部署需权衡隐私保护与模型性能及覆盖率之间的平衡。
架构与训练对不确定性估计的影响
文章对523个和484个预训练深度ImageNet分类器的研究表明，ViT模型在不确定性估计方面表现最优，超过其他模型。同时，蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力。这提示在选择或设计选择性分类系统时，模型架构和训练机制会显著影响不确定性估计质量，进而影响拒绝决策的可靠性。
Q&A
选择性分类如何提升深度神经网络的分类性能？
选择性分类通过为深度神经网络引入拒绝选项，在风险可控的情况下进行分类，从而提升性能。例如，在ImageNet上实现了top-5错误率降低2%，同时测试覆盖率接近60%。
SelectiveNet是什么？它有什么特点？
SelectiveNet是一种带有集成拒绝选项的深度神经架构，通过同时优化分类（或回归）和拒绝，得到一个在覆盖域上优化的深度神经网络。实验表明，它在多个分类和回归数据集上均获得了改进的风险覆盖权衡效果，达到了深度选择分类的新最佳结果。
选择性分类在存在虚假相关性时有什么影响？
研究发现，在存在虚假相关性时，选择性分类可以提高平均准确度，但会放大不同群体之间的准确度差异。对于对称边缘分布，选择性分类是通过完全覆盖下的准确度和分布是否满足左对数凹性质来确定改善或恶化准确度。基于此，训练分布稳健模型可以统一改进每个群体的准确性。
差分隐私对选择性分类有什么影响？
在差分隐私约束下，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。研究还发现，一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适。
哪些模型在不确定性估计方面表现最好？
根据对523个和484个预训练深度ImageNet分类器的研究，ViT模型在不确定性估计方面的表现超过其他模型，ViT架构在不确定性估计性能方面表现最优。此外，蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力。
选择性集合如何减轻模型的不一致性？
选择性集合通过使用随机选定的起始条件训练一组模型，在预测上执行假设检验。当预测不一致时，选择性集合可以放弃不一致预测结果并在指定的置信水平下达成一致结果。在多个基准数据集上展示出零一致性预测点和低至1.5%的放弃率。
