组分布稳健数据集蒸馏及风险最小化
内容提要
本文综述数据集蒸馏研究进展，涵盖可证明的采样初始化、数据子集选择与蒸馏结合、组别感知蒸馏提升医学影像子群体准确性、逐步提取法捕捉训练动态并生成更大合成集、Wasserstein距离分布匹配、单层对抗框架低显存提取精简数据、隐私鲁棒性与公平性基准、可信数据集精简检测外部样本、模型增强提速20倍、扩散模型增强合成图像代表性，以及固定模型蒸馏近似原始训练模型。
延伸解读
数据集蒸馏的演进脉络
从2018年基于固定模型的蒸馏，到2023年组分布稳健方法，数据集蒸馏研究在五年间快速演进。早期工作聚焦用少量数据点近似原始训练模型，后续研究逐步引入可证明采样初始化、子集选择结合、组别感知优化等策略，并拓展到医学影像子群体准确性、隐私鲁棒性公平性基准等方向，显示出该领域从单纯压缩数据向兼顾效率、公平与可信的多元化发展。
效率与公平的平衡
组别感知蒸馏通过动态关注训练中表现不佳的群体，改善最差群体准确性，直接回应了医学影像分析中的子群体变化问题。与此同时，模型增强技术利用早期模型和权重扰动，在保持性能相当的前提下实现20倍速度提升。这些进展表明，数据集蒸馏不再只追求压缩率，而是开始系统性地权衡计算效率与模型公平性，为实际部署提供更全面的评估维度。
可信蒸馏的新范式
可信数据集精简同时考虑内部样本提取和外部样本检测，使精炼后的数据集能训练出兼具内部分类和异常检测能力的模型。配套的大规模基准测评框架则从隐私、鲁棒性和公平性三个维度评估压缩数据集技术的影响。这些工作将安全与可信属性纳入蒸馏流程，提示研究者和实践者在追求轻量化的同时，需关注数据压缩可能带来的隐私泄露和公平性下降风险。
Q&A
数据集蒸馏中如何初始化样本集？
本文提出了一种可证明的基于采样的方法，用于在数据集蒸馏中初始化样本集，并将数据子集选择的思想与数据集蒸馏相结合，通过相对贡献的实例概念优化性能。
组别感知蒸馏如何提升医学影像分析的准确性？
通过组别感知的蒸馏方法，优化一组权重，动态关注训练过程中表现不佳的群体，从而解决医学影像分析中的子群体变化问题，并改善最差群体的准确性。
逐步数据集提取方法有什么优势？
逐步数据集提取方法在训练期间使用多个合成子集来捕捉深度网络的训练动态，在不增加训练时间的情况下显著改善现有数据集提取方法的性能，并首次实现生成更大的合成数据集。
如何利用Wasserstein距离进行数据集简化？
利用Wasserstein距离进行数据集简化，通过将合成数据嵌入预训练分类模型的特征空间进行分布匹配，实现了数据集简化的新的最先进性能。
单层对抗框架在数据集蒸馏中有什么特点？
单层优化的对抗性框架从大型原始数据集中提取关键信息以合成更小的精简数据集并保持效果，可以在最小的GPU内存消耗下获得高测试准确率，并在跨架构泛化中表现出优越性。
数据集精简对隐私、鲁棒性和公平性有什么影响？
本文通过分析压缩数据集技术对隐私、模型鲁棒性和公平性的影响，提出了一个评估这一技术的大规模基准测评框架。
