无增强的密集对比知识蒸馏用于高效的语义分割
原文中文，约200字，阅读约需1分钟。发表于：。在语义分割应用中，本研究提出了一种新的对比蒸馏学习范例，名为 Augmentation-free Dense Contrastive Knowledge Distillation (Af-DCD)，通过利用适当的特征分区，并采用一种基于掩码特征模仿策略和新颖的对比学习损失函数，有效地将教师模型学到的密集和结构化本地知识传递给目标学生模型，同时保持训练效率，达到了在多种主流基准测试中的有效性验证。
研究发现知识蒸馏可解决语义分割中的大型模型和慢速推理问题。通过对蒸馏损失项的研究，揭示了超参数选择不当导致学生模型性能差异的问题。建立了三个数据集和两种学生模型的基线，并提供了超参数调整的信息。在ADE20K数据集上，只有两种技术能与基线相竞争。
