ScaleDet：AWS 基于标签相似性提出可扩展的多数据集目标检测器 | CVPR 2023 - 晓飞的算法工程笔记
内容提要
本论文介绍了一种名为ScaleDet的可扩展多数据集目标检测器，通过增加训练数据集来提高其跨数据集的泛化能力。ScaleDet使用简单且可扩展的公式来统一多个数据集的标签空间，并通过视觉文本对齐进行训练。实验证明，ScaleDet在多个数据集上表现出良好的性能和可扩展性。
延伸解读
多数据集训练的挑战与ScaleDet的应对
多数据集训练面临异构标签空间和训练设置不一致等挑战。ScaleDet通过文本编码统一标签空间，避免了手动重新标记的复杂性，并采用硬标签和软标签分配来学习跨数据集的标签关系，从而提升模型泛化能力。
标签空间统一策略：并集而非合并
ScaleDet不合并相似标签，而是直接取所有数据集标签的并集，形成统一的语义标签空间。这种方法简单且可扩展，保留了所有标签的语义信息，避免了因手动合并可能引入的错误，为训练提供了更丰富的词汇。
视觉-语言对齐训练机制
ScaleDet通过硬标签分配确保视觉特征与正确文本编码对齐，同时利用软标签分配学习标签间的语义相似性。软标签作为正则化器，关联跨数据集的相似类标签，使模型能在统一语义空间中有效学习。
可扩展性与零样本检测能力
实验表明，增加训练数据集数量能持续提升模型性能，且多数据集训练通常优于单数据集训练。ScaleDet在ODinW基准上对可见和不可见类均表现良好，支持零样本检测，展示了其良好的泛化能力和可扩展性。
Q&A
ScaleDet的主要创新点是什么？
ScaleDet的主要创新点在于可扩展的标签空间统一公式和新颖的损失公式，用于学习跨数据集的硬标签和软标签分配。
ScaleDet如何提高跨数据集的泛化能力？
ScaleDet通过增加训练数据集和使用统一的标签空间来提高跨数据集的泛化能力。
ScaleDet在多数据集训练中表现如何？
实验表明，ScaleDet在多数据集训练中具有良好的可扩展性和性能，通常优于单数据集训练。
ScaleDet是如何处理异构标签空间的？
ScaleDet通过简单且可扩展的公式统一多个数据集的标签空间，避免了手动重新标记的复杂性。
ScaleDet的训练方法有什么特点？
ScaleDet的训练方法通过视觉文本对齐进行训练，能够学习标签的语义相似性，并支持零样本检测。
ScaleDet在ODinW基准测试中的表现如何？
ScaleDet在ODinW基准测试中表现良好，能够处理可见和不可见类的检测任务。
