Apple Machine Learning Research
·
对比定位语言-图像预训练
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
CLIP方法用于训练视觉编码器生成图像和文本表示，但在细粒度视觉表示上有不足。本文提出CLOC方法，通过区域-文本对比损失提升CLIP的定位能力。CLOC引入可提示嵌入，设计视觉丰富的标注框架，生成大规模区域-文本伪标签，增强MLLMs在指代和定位任务中的表现。
🎯
关键要点
- CLIP方法用于训练视觉编码器生成图像和文本表示，广泛应用于多模态大语言模型（MLLMs）。
- CLIP的成功依赖于对图像级别的网络爬虫噪声文本注释的对齐，但在细粒度视觉表示上存在不足。
- 本文提出CLOC方法，通过区域-文本对比损失和模块提升CLIP的定位能力。
- CLOC引入可提示嵌入，使编码器能够根据空间提示轻松转换图像嵌入为区域表示。
- 设计了一个视觉丰富和空间本地化的标注框架，以大规模生成区域-文本伪标签。
- CLOC能够处理数十亿个注释图像，提供高质量的区域嵌入，增强图像区域识别和检索任务。
- CLOC可以作为CLIP的替代方案，特别是在指代和定位任务中增强MLLMs的表现。
➡️
