无增强的密集对比知识蒸馏用于高效的语义分割

BriefGPT - AI 论文速递 · 2023-12-07T00:00:00Z

研究发现知识蒸馏可解决语义分割中的大型模型和慢速推理问题。通过对蒸馏损失项的研究，揭示了超参数选择不当导致学生模型性能差异的问题。建立了三个数据集和两种学生模型的基线，并提供了超参数调整的信息。在ADE20K数据集上，只有两种技术能与基线相竞争。