LumiNet：感知知识蒸馏的明亮之处

BriefGPT - AI 论文速递 · 2023-10-05T00:00:00Z

LumiNet是一种新型知识传递算法，旨在填补知识蒸馏中基于对数的方法提取教师的隐藏知识能力不足的差距。通过重新校准对数，LumiNet 重建了更细粒度的类间关系，使得学生模型能够学习到更丰富的知识。在基准数据集上进行的测试证明了 LumiNet 的有效性，并在探索迁移学习领域时评估了其在下游任务中的适应能力。