预训练检测器的高效可迁移性评估
内容提要
本文提出了一种新颖的任务转移分析方法，通过微调模型最后一层，分析分类任务的性能传输。利用Wasserstein距离和条件熵等因素，优化转移上限，证明了该方法在预测传输性方面的有效性。同时，提出了基于能量的可转移性评估度量ETran，显著提高了目标检测和图像分类的性能，并探讨了预训练模型的迁移能力。
延伸解读
任务转移分析的核心思路
文章提出通过仅微调模型最后一层来分析分类任务的性能传输，并利用Wasserstein距离、标签分布的条件熵以及源分布的带权损失等因素刻画传输性。这种方法将迁移性问题转化为对分布变换的度量，为预测模型在新任务上的表现提供了理论依据。
ETran度量及其优势
基于能量的可转移性评估度量ETran通过能量得分、分类得分和回归得分判断目标数据集对预训练模型是带内还是带外数据。它在分类、回归和目标检测任务上均适用，是首个针对目标检测任务的可转移性评估研究，实验显示其平均性能比先前方法分别提升21%和12%。
自动模型选择的应用
研究还探索了使用可计算的传递性度量自动选择最佳模型组，从包含17个来源数据集、两种架构和两种预训练方案的大规模模型池中筛选模型。在语义分割任务上，该方法相比两个基准模型实现了平均交并比6.0%和2.5%的相对提升，展示了实际应用潜力。
Q&A
什么是ETran可转移性评估度量？
ETran是一种基于能量的可转移性评估度量，用于评估预训练模型在目标检测和图像分类中的性能。
如何优化任务转移的上限？
通过改变类先验分布、标签和特征空间的方法变换源分布，并利用Wasserstein距离和条件熵等因素来优化转移上限。
ETran在性能上比之前的方法提高了多少？
ETran在目标检测和分类基准测试上的平均性能分别比先前的方法提高了21%和12%。
该研究如何选择最佳模型组以提高性能？
研究使用可计算的传递性度量自动选择最佳模型组，以提高语义分割任务的性能。
任务转移分析方法的核心思想是什么？
核心思想是通过微调模型最后一层，分析分类任务的性能传输，并优化任务转移的上限。
预训练模型的迁移能力为何重要？
预训练模型的迁移能力对于在不同任务和数据集上实现良好性能至关重要，尤其是在数据有限的情况下。
