M^2-Encoder: 大规模高效预训练推动双语图像 - 文本理解
内容提要
该文综述多语言视觉语言模型进展，包括利用机器翻译数据重对齐图像编码器以低成本构建多语言Vision-LLM，提出多粒度预训练与模块化模型X²-VLM，构建Babel-ImageNet、韩英KELIP及最大中文数据集并训练M6，将CLIP文本编码器换为XLM-R提升跨语言对齐，以及MobileCLIP优化延迟与精度。
延伸解读
多语言视觉语言模型的低成本构建路径
文章提到，通过机器翻译生成多语言数据，对预训练多语言LLM的图像编码器进行重新对齐，可在消费者硬件上用少量训练数据获得首个多语言Vision-LLM，且表现优于从头训练的大规模模型。这为资源有限的研究者提供了可行思路，但需注意其效果依赖于翻译质量和基础模型能力。
模块化架构与多粒度预训练的价值
X²-VLM采用模块化架构和多粒度视觉语言预训练，在图像文本和视频文本任务中取得性能与模型规模的平衡，并展示出高可转移性。这意味着该设计可能便于适配不同语言或领域，但文章未给出具体迁移成本，实际应用时需评估任务适配的额外开销。
中文多模态数据与模型进展
文章提及构建了最大的中文多模态预训练数据集并训练M6，以及将CLIP文本编码器替换为XLM-R后在多个中文任务上取得新最佳表现。这些工作提升了中文视觉语言理解的上限，但数据集和模型的具体规模、训练细节未在文中展开，读者需参考原始论文以评估可复现性。
效率优化与延迟-精度权衡
MobileCLIP通过多模态增强训练，利用图像字幕模型和CLIP编码器进行知识转移，在零样本分类和检索上实现了新的最佳延迟-准确性权衡。这表明高效模型可在不显著牺牲精度的情况下降低计算需求，但文章未提供具体延迟或精度数值，实际部署前需实测验证。
Q&A
如何低成本构建多语言Vision-LLM？
通过利用机器翻译产生多语言数据，对预训练的多语言LLM的图像编码器进行重新对准，从而在消费者硬件上使用少量训练数据获得第一款多语言Vision-LLM，其表现优于从头开始训练的大规模Vision-LLM。
X²-VLM模型有什么特点？
X²-VLM是一个采用模块化架构的预训练模型，通过多粒度视觉语言预训练方法在多个粒度上学习视觉语言对齐，可在图像文本任务和视频文本任务中实现最佳性能和模型规模间的良好平衡，并具有高可转移性，可在任何语言或领域中使用。
Babel-ImageNet数据集的作用是什么？
Babel-ImageNet是一个大规模多语言图像描述数据集，用于验证多语言视觉语言模型的性能差异，通过0-shot图像分类任务大幅验证了性能差异，并证明了其在图像-文本检索上的可行性。
KELIP模型是如何训练的？
KELIP是一种韩-英双语多模态模型，利用11亿的图文对数据（7.08亿韩语数据和4.76亿英语数据）训练，采用简单而有效的训练方案，在两种语言中均表现出相当竞争力，并讨论了多模态相关研究问题。
如何提升CLIP的跨语言对齐能力？
将预训练的多模态嵌入模型CLIP的文本编码器替换为预训练的多语言文本编码器XLM-R，并通过两阶段的教师学习和对比学习实现两种语言和图像表征之间的对齐，在ImageNet-CN、Flicker30k-CN、COCO-CN和XTD等任务上取得了新的最佳表现。
MobileCLIP在延迟和精度方面有什么优势？
MobileCLIP是一个高效图像-文本模型系列，通过多模态增强训练方法，利用图像字幕模型和强大CLIP编码器的知识转移，将额外知识存储在增强数据集中避免训练时计算开销，实现了零样本分类和检索任务的新最佳延迟-准确性权衡。
