PHI-S:无标签多教师蒸馏的分布平衡

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究通过PHI标准化技术解决了视觉基础模型在无标签情况下进行异质多教师知识蒸馏时的分布不均问题,提升了学生模型的质量。结果表明,该方法在多种模型中表现最佳,具有重要应用潜力。

🎯

关键要点

  • 本研究解决了视觉基础模型在无标签情况下进行异质多教师知识蒸馏时的分布不均问题。
  • 引入PHI标准化技术,研究教师激活统计对学生模型质量的影响。
  • 该方法在各类模型中表现最佳,具有重要的应用潜力。
➡️

继续阅读