主动学习中的多样性和不确定性的桥接与自监督预训练
内容提要
本文提出了一种结合不确定性和多样性采样的主动学习算法，显著提高了标注效率。同时，研究探讨了基于贝叶斯深度学习的半监督学习方法，利用少量样本提升文本分类精度。实验验证了新方法在主动学习中的有效性和鲁棒性。
延伸解读
主动学习中的不确定性与多样性融合
文章多次强调将不确定性与多样性采样结合是提升主动学习效率的关键。例如，后期主动学习算法在高空图像数据集中将标注效率提高了五倍；ALCS框架通过密度聚类和双簇边界查询解决冗余问题。这些案例表明，单纯依赖不确定性容易选到相似样本，而引入多样性可避免冗余，两者桥接能更全面地覆盖数据分布。
半监督与预训练模型降低标注依赖
基于贝叶斯深度学习的半监督方法仅用20-30个样本就能达到预训练语言模型的近似精度，比基线提升12%以上；BERT预训练模型通过最小化掩码语言模型损失，减少了采样迭代和计算时间。这说明结合预训练与半监督学习，可以在标注成本极高时提供可行路径，尤其适合文本分类任务。
缓解采样偏差与过度自信的策略
文章指出主动学习常面临采样偏差和模型过度自信问题。SCAL和DFM方法通过有监督对比学习和无偏查询策略降低偏差，查询速度比贝叶斯对抗学习快26倍；CMaM数据扩增和RankedMS数据选择则专门缓解过度自信。这些策略提醒实践者，设计主动学习系统时需同时考虑偏差校正和置信度校准。
跨领域应用与算法选择考量
文章涵盖图像、文本、表格和基因数据等多种场景，并比较了不同主动学习策略。例如，基于提升树的方法针对表格数据回归任务提出成本效益高的方案；在线主动半监督谱聚类在多个数据集表现优异。读者应根据数据类型、标注预算和计算资源，权衡不确定性度量、多样性探索和聚类方法的适用性。
Q&A
主动学习算法如何结合不确定性和多样性采样？
该算法将基于不确定性的采样与基于多样性的采样相结合，显著提高了标注效率。
贝叶斯深度学习在半监督学习中有什么应用？
贝叶斯深度学习方法通过利用少量样本提升文本分类精度，效果优于基线12%。
如何解决主动学习中的过度自信问题？
提出了数据扩增策略和数据选择策略，以缓解主动学习中的过度自信问题。
神经切向核聚类 - 伪标签算法的作用是什么？
该算法有效解决了已有算法对数据集量化反馈误差大的问题。
使用BERT预训练模型的优势是什么？
使用BERT预训练模型可以减少样本采样迭代和计算时间，提高文本分类标注效率。
主动学习中如何提高查询计算速度？
通过引入有监督对比主动学习和无偏查询策略，降低了采样偏差，提升了查询计算速度。
