DUEL: 在主动内存上的重复消除用于自监督的类别不平衡学习
内容提要
该文汇总多项机器学习研究，聚焦数据不平衡、去重与主动学习，提出DUEL自监督框架、主动学习去重模型、DIRECT算法、强化学习分类框架及SCAL、DFM等无偏采样方法，以提升少数类准确率、降低采样偏差并节省标注预算。
延伸解读
DUEL 如何应对类别不平衡
DUEL 是一种自监督学习框架，其核心创新在于从缓存的自适应去偏差分布中采样负样本。这种方法能有效防止因显著的类间不平衡导致的下游任务性能下降。对于面临数据不平衡问题的自监督学习任务，DUEL 提供了一种通过调整负采样分布来缓解偏差的思路。
主动学习在去重与不平衡学习中的价值
文章汇总的多项研究表明，主动学习能显著提升数据效率。例如，基于主动学习的预训练去重模型在基准数据集上召回率提升 28%；DIRECT 算法通过收集更平衡和信息丰富的标记示例，节省超过 15% 的注释预算。这些结果说明，在数据去重和类别不平衡场景中，主动学习是降低标注成本的有效手段。
无偏采样方法 SCAL 与 DFM 的效率优势
SCAL 和 DFM 通过有监督对比主动学习和无偏查询策略，减轻了主动学习中的采样偏差。实验表明，它们不仅达到最先进的精度和鲁棒性，查询计算速度还比基于贝叶斯的对抗式学习快 26 倍，比 CoreSet 快 11 倍。SCAL 在对抗性数据集转移和预测真实分布方面具有显著优势，适合对效率和偏差敏感的应用。
Q&A
DUEL 是什么？它主要解决什么问题？
DUEL 是一种新的自监督学习框架，通过从缓存的自适应去偏差分布中采样负样本，成功防止了因显著的类间不平衡导致的下游任务性能下降。
主动学习在数据去重方面有什么应用？
提出了一种基于主动学习的预训练去重模型，是首个将主动学习应用于语义级别去重问题的工作。实验表明，该模型在去重数据识别方面优于之前的最先进技术，基准数据集上的召回率提升了28%。
DIRECT 算法如何解决机器学习中的不平衡问题？
DIRECT 通过收集更平衡和信息丰富的标记示例来进行注释，相较于现有算法，节省了超过15%的注释预算。
强化学习如何用于不平衡分类？
提出了一种基于强化学习的不平衡分类框架，并扩展为多类设置。在真实的临床案例研究中，该框架优于现有的不平衡学习方法，能实现更公平和平衡的分类，并显著提高少数类别的预测准确性。
SCAL 和 DFM 方法如何减轻主动学习中的采样偏差？
通过引入有监督对比主动学习（SCAL）和选择具有多样特性表示的信息性数据样本的无偏查询策略（DFM），降低了采样偏差，在主动学习设置中查询计算速度比基于贝叶斯的对抗式学习快26倍，比CoreSet快11倍。SCAL在对抗性数据集转移和预测真实分布方面具有显著优势。
DualCL 框架在文本分类中表现如何？
DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了该框架在学习具有判别性的表示方面的能力。
