BriefGPT - AI 论文速递 · 2023-11-07T00:00:00Z

知識蒸餾中的遺失

📝

内容提要

该研究提出了一种名为TL + KD的机器学习架构，将知识蒸馏应用于迁移学习，并与传统TL进行了比较。结果表明，使用较大的教师网络提供指导和知识可以改善学生网络的验证性能。同时，研究了不同场景下的性能表现。

🏷️

标签

教师网络 机器学习 知识蒸馏 迁移学习 验证性能