从平衡中学习：修正规模不均知识转移以应对长尾场景
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本文提出了多种知识蒸馏方法，包括教师模型信息流蒸馏、平衡知识蒸馏框架、参数高效的PESF-KD、动态学习的KCD、逆概率加权蒸馏IPWD及不同分布知识蒸馏KD$^{3}$。这些方法在多个数据集上验证了其有效性，显著提升了学生模型的性能和蒸馏效率。
❓
Q&A
什么是平衡知识蒸馏框架（BKD）？
平衡知识蒸馏框架（BKD）通过实例平衡分类损失和类平衡蒸馏损失的组合，显著提升学生模型在长尾学习中的性能。
PESF-KD方法的优势是什么？
PESF-KD方法通过更新较少的参数实现高效知识转移，显著降低培训成本，同时获得有竞争力的结果。
如何解决知识蒸馏中的数据分布不一致问题？
逆概率加权蒸馏（IPWD）方法通过样本倾向得分估计加权，弥补非独立同分布数据中低频样本的不足，提高知识蒸馏的准确度。
KD$^{3}$方法的主要组成部分是什么？
KD$^{3}$方法包括从互联网收集训练实例、对齐教师和学生网络的特征及分类器参数，以及生成扰动数据的对比学习块。
动态学习的知识凝聚蒸馏方法（KCD）如何增强模型性能？
KCD通过期望最大化框架从教师的知识向学生转移紧凑的知识集，有效增强学生模型的性能和蒸馏效率。
Multi-Stage Balanced Distillation（BalDistill）框架的目的是什么？
BalDistill框架旨在在固定计算资源预算内动态选择样本，平衡训练数据，提高蒸馏模型在长尾数据集上的效率和效果。
🏷️
