本研究提出了ILLUME，一个多模态大语言模型，解决了图像与文本对齐的数据集规模问题。通过视觉标记器和多阶段训练，数据需求降至1500万，同时性能与先进模型竞争，并引入自我增强的对齐方案。

本文提出了一种联合嵌入方法用于零样本学习，通过对齐图像和文本模型，提升了多项基准测试的性能。同时，研究探讨了文本到图像生成的低成本解决方案，利用语义特征和新型损失函数提高数据效率，展示了在个性化和图像检索任务中的优势。

该研究利用多模态提取和图像文本对齐，采用创新的预训练目标来提高实体和关系的提取能力。实验结果表明，相对于先前的最佳方法，该方法的F1值提高了3.41％，并且对先前的多模态融合技术是正交的。在先前的最佳方法的基础上，该方法提高了5.47％的F1。