ReffAKD: 资源高效的基于自编码器的知识蒸馏

提出了一种新方法来提高知识蒸馏效率，同时不需要资源密集的教师模型。通过使用紧凑的自动编码器提取特征并计算不同类别之间的相似度得分，然后对这些相似度得分应用 softmax 函数以获得软概率向量，这个向量在学生模型的训练中作为有价值的指导。在各种数据集上进行的广泛实验表明，与依赖大型教师模型的传统知识蒸馏方法相比，我们的方法在资源效率方面具有更高的优势，并在模型准确性方面实现了相似甚至更高的性能。