二元分类性能中的内在数据约束和上限

数据组织结构对机器学习算法的有效性有巨大影响，特别是对于二元分类任务。本研究提供了一个理论框架，表明给定数据集上二元分类器的最大潜力主要受到数据固有特性的限制。通过理论推理和实证检验，我们得出两个主要结论：首先，我们展示了在实际数据集上二元分类的性能的理论上界是可以被理论上达到的；这个上界代表了学习损失和评估指标之间的可计算平衡。其次，我们计算了三个常用评估指标的精确上界，揭示了与我们的总体论点的基本一致性：上界与数据集的特征紧密联系，与所使用的分类器无关。此外，我们的后续分析揭示了性能上限与二元分类数据中类别重叠水平之间的详细关系，这对于确定在特征工程中使用的最有效的特征子集至关重要。