本研究提出了维度降低知识蒸馏（RdimKD）范式，通过投影矩阵将大网络和小网络的特征图投影到低维子空间，以优化学生网络的训练过程。实证研究表明RdimKD在各种学习任务和不同网络架构中都有效。

RdimKD: 通过降维进行通用蒸馏范式
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证