MetaDD：通过神经网络架构不变性泛化增强数据集蒸馏
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了数据集蒸馏（DD）在不同神经网络架构上泛化能力不足的问题。通过引入MetaDD，该方法将蒸馏数据分为元特征和异构特征，并采用架构不变的损失函数进行特征对齐，从而提高了数据集蒸馏的效果。实验结果表明，MetaDD在多个DD方法中显著提升了性能，准确率达到30.1%，超越了第二名方法1.7%。
本研究提出MetaDD方法，通过将蒸馏数据分为元特征和异构特征，并使用架构不变的损失函数进行特征对齐，解决了数据集蒸馏在不同神经网络架构上泛化能力不足的问题。实验结果表明，MetaDD在多个数据集上显著提升性能，准确率达到30.1%，超越第二名1.7%。
