将文本到图像检索革命化为自回归令牌到向量生成
内容提要
本文提出了一个统一框架，研究多模态大型语言模型（MLLMs）在文本到图像生成与检索中的应用。通过构建基准测试集TIGeR-Bench，验证了新方法的优越性，并探讨了自回归与非自回归模型的效果。提出的基于Token-Guided Dual Transformer的检索框架结合全局与本地特征，实现了高效的跨模态检索。
延伸解读
自回归生成在文本到图像任务中的局限
文章指出，自回归模型在文本到图像生成中效果有限，主要因为图像标记与文本标记的语义存在显著差异，导致预训练语言模型对它们的建模效果不如随机初始化模型。此外，图像文本数据集中的文本标记过于简单，可能引发语言模型能力的灾难性降低。这提示研究者在利用预训练语言模型进行跨模态生成时，需谨慎处理模态间的语义鸿沟。
非自回归模型的高效生成优势
非自回归模型在生成图像时展现出高效性，能够快速生成大量图像标记并保持低推理延迟。文章提到，其参数规模为346M，使用一台V100 GPU可在1秒内生成一张256×256像素的高质量图像。这表明在需要实时或大规模图像生成的场景中，非自回归架构可能比自回归模型更具实用价值。
TGDT框架与同步多模态对比损失
文章提出的Token-Guided Dual Transformer（TGDT）框架，将粗粒度和细粒度表示学习结合到统一框架中，并引入同步多模态对比损失作为训练目标。通过混合全局和本地跨模态相似性的两阶段推理方法，该框架在极低推理时间下实现了最先进的检索表现。这为跨模态检索提供了一种兼顾效率与精度的新思路。
生成式检索在MSCOCO上的表现
文章利用生成式模型学习多模态数据的全局和本地特征，在MSCOCO数据集上实现了最先进的跨模态检索结果。这表明生成式方法不仅能用于图像生成，还能有效提升检索性能。结合TIGeR-Bench等基准测试，该研究为统一评估文本到图像生成与检索方法提供了标准化平台。
Q&A
什么是TIGeR-Bench？
TIGeR-Bench是一个基准测试集，用于标准化文本到图像生成和检索方法的评估。
自回归模型在文本到图像生成中的效果如何？
自回归模型在文本到图像生成中的效果有限，主要由于图像标记与文本标记的语义差异。
非自回归模型有什么优势？
非自回归模型在生成图像时具有高效性，能够快速生成高质量图像，推理延迟低。
Token-Guided Dual Transformer框架的主要功能是什么？
Token-Guided Dual Transformer框架结合全局与本地特征，实现高效的跨模态检索。
如何提高大型语言模型在视觉和语言生成方面的效果？
通过分阶段训练方法和生成vokens，可以提高大型语言模型在视觉和语言生成方面的效果。
这项研究的主要贡献是什么？
这项研究提出了一个统一框架，探索多模态大型语言模型在文本到图像生成与检索中的应用，并验证了新方法的优越性。
