BriefGPT - AI 论文速递 · 2023-09-07T00:00:00Z

走向语义图像分割中的可比较知识蒸馏

📝

内容提要

研究发现，知识蒸馏可以解决语义分割中的大型模型和慢速推理问题。研究鉴定了14种蒸馏损失项，并揭示了超参数选择不当导致学生模型性能差异的问题。建立了三个数据集和两种学生模型的基线，并提供了超参数调整的信息。在ADE20K数据集上，只有两种技术能与基线竞争。

🏷️

标签

大型模型 慢速推理 知识蒸馏 语义分割 超参数调整