LocCa：具有位置感知字幕的视觉预训练
内容提要
本文比较了对比预训练和图像字幕预训练策略，发现图像字幕训练同样有效，能够产生竞争力的视觉编码器。提出的CoCa模型通过无缝训练图像和文本，提升了多种视觉任务的性能。LocTex方法利用低成本的文本标注和鼠标轨迹，减少了标注数据需求，同时在视觉任务中表现优异。
延伸解读
图像字幕预训练的有效性
文章通过公平比较发现，仅使用图像字幕训练也能产生与对比预训练竞争的视觉编码器，甚至在视觉和语言任务上超越后者。这表明字幕预训练是一种有效的预训练策略，为视觉预训练提供了新思路。
CoCa模型的设计特点
CoCa模型采用对比式注解器结构，在解码器前半段省略跨关注以编码单模态文本表示，后半段级联解码器层进行跨模态图像文本表示。这种设计使其能无缝训练图像和文本，并在多种视觉任务上达到最先进性能。
LocTex降低标注需求
LocTex利用低成本的本地化文本标注和鼠标轨迹，通过对比预训练和监督跨模态关注图提供粗略定位信号。这减少了标注数据量，可将预训练数据集缩小10倍或目标数据集缩小2倍，同时在COCO实例分割上保持可比性能。
LocTex的性能提升
在相同注释数量下，LocTex在PASCAL VOC图像分类任务上比之前最先进的“视觉+语言”预训练方法提高了约4%的准确性。其学习到的视觉特征能捕捉自由形式标题的丰富语义和鼠标轨迹的准确定位，并可迁移到各种下游视觉任务。
Q&A
LocCa模型的主要特点是什么？
LocCa模型通过无缝训练图像和文本，提升了多种视觉任务的性能。
LocTex方法如何减少标注数据的需求？
LocTex方法利用低成本的文本标注和鼠标轨迹，提供粗略的本地化信号，从而减少标注数据的数量。
图像字幕预训练与对比预训练的比较结果如何？
研究发现仅采用图像字幕训练也能产生与对比预训练编码器竞争的视觉编码器。
CoCa模型的创新之处是什么？
CoCa模型省略了解码器前半段的跨关注，使图像和文本的编码器和解码器能够预先训练。
LocTex在视觉任务中的表现如何？
LocTex在视觉任务中表现优异，能够在COCO实例分割上实现可比较甚至更高的性能。
使用图像和标题的联合信息有什么好处？
使用联合信息可以提高图像表征能力，并成功应用于多种目标任务。
