知識蒸餾中的遺失

该研究提出了一种名为TL + KD的机器学习架构，将知识蒸馏应用于迁移学习，并与传统TL进行了比较。结果表明，使用较大的教师网络提供指导和知识可以改善学生网络的验证性能。同时，研究了不同场景下的性能表现。