晓飞的算法工程笔记
·
YOLOS：大道至简，直接使用预训练ViT进行实时目标检测 | NeurIPS 2021 - 晓飞的算法工程笔记
内容提要
本论文研究了基于Vision Transformer（ViT）的目标检测模型YOLOS的可迁移性。实验结果显示，YOLOS以纯sequence-to-sequence的方式完成目标检测，附加的归纳偏置最小。与DETR相比，YOLOS选择了仅编码器的Transformer架构，并使用预训练的ViT表达。实验结果表明，YOLOS在复杂的目标检测任务上具有竞争力的性能。
关键要点
-
本论文研究了基于Vision Transformer（ViT）的目标检测模型YOLOS的可迁移性。
-
YOLOS以纯sequence-to-sequence的方式完成目标检测，附加的归纳偏置最小。
-
YOLOS选择了仅编码器的Transformer架构，并使用预训练的ViT表达。
-
实验结果表明，YOLOS在复杂的目标检测任务上具有竞争力的性能。
-
YOLOS模型在中型ImageNet-1k数据集上预训练，成功迁移至COCO目标检测基准。
-
YOLOS通过将ViT中的图像分类标记替换为目标检测标记，简化了模型架构。
-
YOLOS的设计旨在揭示预训练Transformer在目标检测中的多功能性和可迁移性。
-
YOLOS的主体与ViT基本相同，由一堆Transformer编码器层组成。
-
YOLOS的检测头设计简洁，避免了复杂的结构。
-
YOLOS在微调时保持图像块大小不变，以适应更高的图像分辨率。
-
YOLOS尽可能小地引入额外的归纳偏置，避免使用卷积等可能引入偏置的设计。
-
YOLOS与DETR相比，采用了不同的架构和训练方式，强调了其独特性。
-
实验结果展示了不同预训练方法和模型大小对YOLOS性能的影响。
延伸问答
YOLOS模型的主要创新点是什么？
YOLOS模型通过将ViT中的图像分类标记替换为目标检测标记，以纯sequence-to-sequence的方式完成目标检测，尽可能减少了归纳偏置。
YOLOS与DETR相比有什么不同之处？
YOLOS采用仅编码器的Transformer架构，而DETR使用编码器-解码器架构。此外，YOLOS继承了预训练的ViT表达，而DETR则依赖随机初始化的Transformer。
YOLOS在目标检测任务中的表现如何？
实验结果表明，YOLOS在复杂的目标检测任务上具有竞争力的性能，成功迁移至COCO目标检测基准。
YOLOS是如何处理图像输入的？
YOLOS将2D图像重塑为展平的图像块序列，并使用可训练的线性投影将其映射到高维空间。
YOLOS模型的检测头设计有什么特点？
YOLOS的检测头设计简洁，采用MLP实现分类和边界框回归，避免了复杂的结构。
YOLOS在微调时如何处理图像分辨率？
在微调时，YOLOS保持图像块大小不变，以适应更高的图像分辨率，从而导致更大的有效序列长度。
