Wasserstein 距离在知识蒸馏中的优势

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种基于Wasserstein距离的知识蒸馏方法,克服了KL散度在跨类别比较中的局限性,并证明了其在图像分类和目标检测中的优越性。

🎯

关键要点

  • 本研究提出了一种基于Wasserstein距离的知识蒸馏方法。
  • 该方法克服了KL散度在跨类别比较中的局限性。
  • 研究证明了该方法在图像分类和目标检测中的优越性。
  • WKD-L和WKD-F是提出的两种知识蒸馏方法。
  • 该研究展示了Wasserstein距离方法在知识蒸馏领域的潜力。
➡️

继续阅读