ANOLE: 用于交织式图像文本生成的开放式、自回归的本地大型多模态模型
内容提要
本文介绍了多模态自回归建模的进展，提出了视觉词概念，结合文本和图像生成模型，提升了多模态输出质量。研究表明新模型在视觉问答和图像生成任务中表现优越，并探讨了多模态大型语言模型的架构和训练技术，为未来研究奠定基础。
延伸解读
视觉词：连接视觉与语言的新桥梁
文章首次提出视觉词概念，将视觉特征映射到LLMs词汇的概率分布，为视觉建模提供监督信息。这一创新使多模态自回归建模成为可能，并在5个VQA任务和4个基准工具包上验证了其强大性能。视觉词的概念为后续多模态模型的设计提供了新思路。
JAM框架：模块化融合文本与图像生成
联合自回归混合（JAM）框架通过模块化方法系统融合现有文本和图像生成模型，并引入高效数据调优策略。最终模型在生成高质量多模态输出方面表现卓越，是首个明确设计用于混合模态生成的模型，为多模态输出质量提升提供了实用方案。
Chameleon与CM3Leon：性能与效率的标杆
Chameleon作为早期融合的令牌混合模态模型，在图像描述等任务达到最先进水平，纯文本任务超越Llama-2，并能生成非平凡图像。CM3Leon则通过检索增强和多任务微调，以少5倍训练计算量实现文本到图像生成的最先进性能（零样本MS-COCO FID 4.88），并展现前所未有的可控性。
MLLMs综述与OpenLEAF：现状与交错生成
文章全面回顾了面向视觉的MLLMs，分析其架构选择、对齐策略和训练技术，并比较性能与计算需求。OpenLEAF框架结合LLMs和预训练文本到图像模型，实现开放域交错图像-文本生成，通过全局上下文提高实体和风格一致性，并首次提出使用LMMs评估生成质量。
Q&A
什么是视觉词概念，它在多模态建模中有什么作用？
视觉词概念将视觉特征映射到大型语言模型（LLMs）词汇的概率分布，为视觉建模提供监督信息。
联合自回归混合（JAM）框架的主要特点是什么？
JAM框架是一种模块化的方法，系统融合文本和图像生成模型，提升多模态输出质量。
mPLUG-Owl培训范式如何赋予LLMs多模态能力？
mPLUG-Owl通过模块化学习，使LLMs具备多种单模态和多模态能力，包括视觉能力和知识推理。
Chameleon模型在图像问答任务中的表现如何？
Chameleon模型在图像问答、图像描述等任务中表现优越，达到了最先进的性能水平。
MoMA模型的零样本能力是如何实现的？
MoMA模型通过开源的多模态大型语言模型进行训练，具备灵活的零样本能力，能够生成高细节保真度的图像。
CM3Leon模型在多模态生成中有哪些创新？
CM3Leon模型通过检索增强和多任务微调，实现高效的多模态生成，展现出前所未有的可控水平。
