PHI-S: Distribution Balancing for Unlabeled Multi-Teacher Distillation

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究通过PHI标准化技术解决了视觉基础模型在无标签情况下进行异质多教师知识蒸馏时的分布不均问题,提升了学生模型的质量。结果表明,该方法在多种模型中表现最佳,具有重要应用潜力。

🏷️

标签

➡️

继续阅读