深度主动学习中易于翻转样本的查询
内容提要
该文综述深度主动学习研究进展，涵盖判别式主动学习法DAL（大批次查询下性能与先进方法相当且易扩展）、基于半监督极小极大熵的方法（兼顾不确定性与多样性）、DIRECT算法（节省超15%标注预算），以及单类样本主动学习、面向目标检测的不确定度度量、伪标签与蒸馏降低算力、领域知识约束KAL框架和对比学习聚类选样等方法，并梳理了深度主动学习的定义与未来方向。
延伸解读
大批次查询下的方法对比与再评估
文章指出，DAL在中等和大批次查询中与最先进方法相当，且实现简单、可扩展。同时，实验表明在批量较大时，现有最先进方法并不比不确定性采样明显更好，这推翻了一些近期文献报道的结果。这提示读者，主动学习方法的优势可能高度依赖批次大小，评估时需注意实验设置是否贴近实际应用场景。
标注预算节省的量化证据
DIRECT算法通过收集更平衡和信息丰富的标记示例，相较于现有算法节省了超过15%的注释预算。另一项基于对比学习聚类选样的方法也证明，达到相同准确率需要更少的标注预算。这些量化结果说明，主动学习的核心价值之一在于降低标注成本，但具体节省幅度因算法和任务而异，读者应结合自身数据特点判断适用性。
领域知识与计算效率的平衡
KAL框架将基于规则的知识转化为逻辑约束来指导样本选择，在领域知识丰富时平均F1分数优于多种主动学习策略，且计算需求较低。另一方面，伪标签和蒸馏模型被用于减少主动学习繁重的计算资源需求。这表明，引入领域知识或采用蒸馏等技巧，可以在提升效果的同时控制计算开销，但前提是领域知识可得或模型可蒸馏。
Q&A
判别式主动学习法（DAL）在大批次查询下表现如何？
DAL在中等和大批次查询中与最先进方法相当，实现简单且可扩展到分类之外的其他领域。实验还表明，当批量较大时，现有最先进方法均不比不确定性采样明显更好，推翻了一些近期文献报道的结果。
基于半监督极小极大熵的主动学习算法有什么优势？
该算法同时利用不确定性和多样性来选择最具代表性的样本，在图像分类和语义分割任务中表现优于现有技术。
DIRECT算法如何节省标注预算？
DIRECT通过收集更平衡和信息丰富的标记示例进行注释，解决机器学习中的不平衡问题，相较于现有算法节省了超过15%的注释预算。
单类样本主动学习算法是如何工作的？
该算法在只有单类样本和无标签数据的情况下运作，通过分别估计正样本和未标记点的概率密度，计算信息性的期望值以获取更好的信息性度量，实验结果显示有前途的结果。
如何降低深度主动学习在文本任务中的计算资源需求？
通过伪标签和蒸馏模型实现更高性能的模型训练，可以显著减少深度学习中主动学习繁重的计算资源需求，适用于文本分类和标记任务。
基于领域知识的主动学习（KAL）框架效果如何？
KAL将基于规则的知识转化为逻辑约束以唤起模型对样本的选择，在平均F1分数上优于多种主动学习策略，尤其在领域知识丰富时表现更佳，也适用于物体识别任务且计算需求较低。
