LumiNet：感知知识蒸馏的明亮之处
原文中文，约500字，阅读约需2分钟。发表于：。为了填补知识蒸馏中基于对数的方法提取教师的隐藏知识能力不足的差距，我们提出了一种名为 LumiNet 的新型知识传递算法。通过分析类内动态，并通过微调模型的表征能力来重新校准对数，LumiNet 重建了更细粒度的类间关系，使得学生模型能够学习到更丰富的知识。在基准数据集 (CIFAR-100、ImageNet 和 MSCOCO) 上进行的严格测试证明了 LumiNet...
LumiNet是一种新型知识传递算法，旨在填补知识蒸馏中基于对数的方法提取教师的隐藏知识能力不足的差距。通过重新校准对数，LumiNet 重建了更细粒度的类间关系，使得学生模型能够学习到更丰富的知识。在基准数据集上进行的测试证明了 LumiNet 的有效性，并在探索迁移学习领域时评估了其在下游任务中的适应能力。
