超越特征相似性:基于类别感知条件互信息的有效数据集蒸馏
📝
内容提要
本研究解决了当前数据集蒸馏(DD)方法在生成合成数据集时难以学习的问题,提出了基于条件互信息(CMI)的新方法来评估数据集的类别感知复杂性。通过最小化CMI,我们的实验证明,该方法可作为现有数据集蒸馏方法的一种通用正则化手段,从而提高性能和训练效率。
🏷️
标签
➡️