在核空间中基于边缘化少数群体的 SMOTE 解决不平衡数据中的分类歧视
内容提要
多项研究探讨了类别不平衡分类中的过采样方法。有研究指出,过采样生成的少数类样本可能实际属于多数类,可靠性存疑。为此,其他研究提出改进方案:结合聚类与SMOTE、利用聚类中心生成样本、基于三方博弈生成边界样本、SMOTENN混合重采样、将少数类图像粘贴到多数类背景以扩增数据,以及多标签不平衡分类中的合成采样。这些方法在不同数据集上均提升了分类性能。
延伸解读
过采样可靠性的争议
文章指出,有研究通过隐藏部分多数类样本进行比较,发现所有研究的过采样方法生成的少数类样本最有可能是多数类。因此,作者认为当前形式的过采样不可靠,在真实世界应用中应避免使用。这一结论对过度依赖过采样解决类别不平衡的做法提出了警示。
改进过采样的主要方向
为应对过采样的可靠性问题,文章列举了多种改进方法:结合聚类与SMOTE、利用聚类中心生成样本、基于三方博弈生成边界样本、SMOTENN混合重采样、将少数类图像粘贴到多数类背景以扩增数据,以及多标签不平衡分类中的合成采样。这些方法在不同数据集上提升了分类性能。
聚类与混合重采样的实践效果
文章提到,基于k-means聚类和SMOTE的方法在71个数据集上提高了分类结果,并始终优于其他流行的过采样方法;基于聚类的过采样利用少数类样本与聚类中心的距离生成新样本,在深度神经网络实验中表现更好;SMOTENN在中小型数据集上优于替代重采样技术,并在大型数据集上缩短了运行时间。
公平性过采样的关注点
文章还介绍了一种公平的过采样技术,针对分类不平衡和组群不平衡问题,通过生成具有类混合或群组混合特征的合成数据来提高分类器鲁棒性,并考虑原始群集分布和数据噪声来增强合成数据有效性。实验结果表明该技术具有较好的公平性和效用性。
Q&A
为什么说当前的过采样方法在类别不平衡分类中不可靠?
因为实验证明,所有研究过的过采样方法生成的少数类样本最有可能是多数类,因此当前形式和方法的过采样不可靠,在真实世界应用中应避免使用。
k-means SMOTE 方法有什么优势?
k-means SMOTE 结合了 k-means 聚类和 SMOTE 过采样,可以避免产生噪音并有效解决类内和类间不平衡问题。在 71 个数据集上的实验表明,使用该方法进行训练数据过采样可以提高分类结果,并且始终优于其他流行的过采样方法。
基于聚类的过采样方法是如何生成新样本的?
基于聚类的过采样方法利用少数派样本与其聚类中心点之间的距离来生成新的少数派样本,在不影响多数派学习的基础上,利用少数派样本的分布结构改善类别不平衡数据上的学习,并采取措施防止异常值产生和过度拟合。
SMOTENN 重采样方法有什么特点?
SMOTENN 是一种新型重采样方法,通过使用 MapReduce 框架将智能欠采样和过采样结合在一起,解决不平衡分类问题。实验结果表明,该方法在小型和中型数据集上优于替代重采样技术,并在大型数据集上达到了良好的效果且运行时间缩短。
如何通过图像粘贴来扩增少数类样本?
通过利用多数类的丰富背景图像,将少数类图像粘贴到多数类的背景图像上,实现对少数类样本的多样化扩增,从而改善分类器的泛化性能,并在不进行任何架构变化或复杂算法修改的情况下,在各种长尾分类基准测试上实现了最先进的性能。
多标签不平衡分类中过采样技术有什么作用?
在多标签不平衡分类问题中,使用合成采样技术可以提高恶性程度预测的每个类的性能敏感性,寻找合适的低层次图像特征和随机森林分类器对数据集进行分类,可以对多标签不平衡分类问题提供信息和指导。