M^2-Encoder: 大规模高效预训练推动双语图像 - 文本理解
原文中文，约400字，阅读约需1分钟。发表于：。我们介绍了一个包含 60 亿个图像 - 文本配对的双语（中英文）数据集 BM-6B，通过提出一种新颖的分组聚合方法来处理此规模的数据集，大大减少了通信开销和 GPU 内存需求，从而提高了训练速度，我们预训练了一系列双语图像 - 文本基础模型，并在 BM-6B 上取得了提升视觉和文本理解能力的成果，这些模型在多模态检索和分类任务方面树立了新的基准，并且我们的最大模型在零样本分类设置下，在...
该文章介绍了一个包含60亿个图像-文本配对的双语数据集BM-6B，并提出了一种新的分组聚合方法来处理此规模的数据集。通过预训练双语图像-文本基础模型，取得了在多模态检索和分类任务方面的成果，并在零样本分类设置下，在ImageNet上的top-1准确率超过了以前报道的SoTA方法。
