本研究提出了“动态适应性插值蒸馏(TAID)”方法,旨在解决教师模型与学生模型之间的容量差异及模式崩溃问题。TAID通过动态插值教师和学生分布,有效防止模式崩溃,提升知识蒸馏效果。实验结果显示,该方法在不同模型规模和架构下均表现优越,推动了人工智能技术的可及性发展。
完成下面两步后,将自动完成登录并继续当前操作。