自我蒸馏与复位的多元特征学习

我们的研究解决了模型学习多样特征时面临的问题，通过引入多样特征学习（DFL）方法，结合重要特征保持算法和新特征学习算法。具体而言，为保留重要特征，我们使用自蒸馏在模型训练期间选择观察到的有意义的模型权重。为学习新特征，我们采用重置方法，定期重新初始化模型的一部分。通过在图像分类上进行各种模型的实验，我们发现自蒸馏和重置之间存在协同效应的潜力。