推进深度主动学习和数据子集选择：用信息理论直觉统一原则
内容提要
本文综述了多种主动学习数据子集选择方法：基于Wasserstein距离的批量主动学习兼顾不确定性与多样性；半监督结合熵最小化仅用少量标注即在MNIST上达到低误差；COPS算法优化预期损失；贝叶斯生成方法结合数据增强提升效率；大规模集成方法扩展子集搜索；BALD框架统一信息论量；对比学习聚类选样减少标注预算。
延伸解读
从单一策略到统一视角：主动学习方法的演进脉络
文章按时间顺序梳理了多种主动学习数据子集选择方法，从2018年的COPS到2023年的对比学习聚类选样，呈现出从单一优化目标向多原则融合的趋势。早期方法如COPS聚焦预期损失最小化，而后续工作逐渐将不确定性、多样性和信息论量纳入统一框架，例如BALD用互信息连接预测与参数，Wasserstein距离方法则显式权衡不确定性与多样性。这种演进说明主动学习正从孤立算法走向可解释的原则性设计。
标注成本与模型性能的权衡：实证结果透露的信号
文中多个实验提供了标注效率的具体参照：半监督结合熵最小化在MNIST上仅用300个标记样本达到2.06%误差率，1000个样本降至1.06%；对比学习聚类选样则声称以更少标注预算达到同等精度。这些结果共同表明，合理选择数据子集可以在显著压缩标注量的同时维持较低误差，但效果高度依赖数据集和任务类型，读者需注意这些数字仅来自特定基准，不宜直接外推至其他场景。
信息论直觉如何串联不同方法
文章强调BALD框架将期望信息增益、预测信息增益等量统一为信息理论近似，并连接了分歧文献。这一视角的价值在于：Wasserstein批量主动学习中的不确定性-多样性权衡、COPS的预期损失优化、以及对比学习聚类选样，都可视为从不同角度逼近“选择最有信息量的样本”这一目标。理解这一统一原则，有助于读者在面临新任务时判断哪种方法更契合自身的数据分布和标注预算。
实践中的限制与评估注意事项
文章在列举方法时也透露出若干限制：COPS需通过低密度样本降权来应对模型错误设定；大规模集成方法依赖重复使用中间检查点，计算开销不可忽视；FTZ后验熵方法虽对采样偏差鲁棒，但针对文本分类场景。此外，2019年的研究指出需要更合适的评估协议来验证语义分割等实际场景。读者在采纳这些方法时，应关注其假设条件、计算成本及评估方式是否与自身应用匹配。
Q&A
基于Wasserstein距离的深度批量主动学习有什么特点？
该方法通过替代优化同时优化深度神经网络参数和批处理查询选择，明确体现了查询批处理选择中的不确定性-多样性权衡，并在不同基准测试中相比基线展现出更好的性能和更好的时间效率。
半监督深度学习结合主动学习在MNIST上能达到多低的误差率？
使用熵最小化对未标记样本进行训练，仅用300个标记样本可实现2.06%的误差率，用1000个标记样本可实现1.06%的误差率，同时节省标记成本。
COPS算法是如何优化预期损失的？
COPS通过使用模型的对数几率来估计采样比例，并通过低密度样本的降权方法来解决模型对错误规范的敏感性挑战，从而在理论上最优地最小化从样本数据训练的模型的预期损失。
贝叶斯生成主动深度学习方法如何提升训练效率？
该方法将主动学习与数据增强相结合，在MNIST、CIFAR-10/100和SVHN数据集上的实验证明，它具有更高效的训练和更好的分类结果。
BALD框架如何统一信息理论量？
BALD框架表明，预测和模型参数之间的互信息（期望信息增益）以及获取候选和测试样本之间的互信息（预测信息增益）可以作为信息理论量的近似，从而连接了所谓分歧文献，提供了一个统一框架。
对比学习聚类选样方法在减少标注预算方面有什么优势？
该方法通过对比学习在特征空间中选择集群的样本，从标记和未标记的数据池中获取优先的显著内部分布样本，证明相对于现有主动学习方法需要更少的标注预算才能达到相同的准确性水平。
