该研究基于信息论，利用子模互信息函数进行数据子集选择（主动学习与主动采样），以提升深度学习标签与训练效率。在CIFAR-10和MNIST上分类性能提升20-30%。同时涉及局部解释框架、分子能量预测、多样性模型选样、弱监督学习及互信息最大化表示等方法，提高准确率并降低成本。

本文综述了多种主动学习数据子集选择方法：基于Wasserstein距离的批量主动学习兼顾不确定性与多样性；半监督结合熵最小化仅用少量标注即在MNIST上达到低误差；COPS算法优化预期损失；贝叶斯生成方法结合数据增强提升效率；大规模集成方法扩展子集搜索；BALD框架统一信息论量；对比学习聚类选样减少标注预算。