与 LLM 对齐：一种用于编码视觉皮层 fMRI 活动的新型多模态训练范式
内容提要
该文综述多模态大语言模型（MLLMs）的模态对齐方法，将其分为多模态转换器、感知器、工具辅助和数据驱动四类，并强调对齐对避免错误生成的重要性。文章还介绍了多项相关研究：InfMLLM通过保留视觉位置信息提升图像描述与定位能力；专家混合机制增强视觉感知；EMMA代理借助LLM反思适应视觉任务；MLLM-Bench基准弥补主观任务评估的不足；视觉指导调整提升生成的真实性与道德一致性；扩展图像标题改善检索效果。
延伸解读
模态对齐为何关键
文章指出，多模态大语言模型面临多模态语义差距的挑战，可能导致错误生成并带来社会风险。选择适当的模态对齐方法至关重要，因为不恰当的方法可能需要更多参数，且性能改进有限。这提醒研究者和开发者，对齐策略不仅影响模型效果，也关系到资源效率与输出可靠性。
四类对齐方法的定位
综述将现有模态对齐方法分为四组：多模态转换器负责将数据转为LLM可理解的格式；多模态感知器改善LLM对不同类型数据的感知；工具辅助将数据转为常见格式（通常是文本）；数据驱动方法则教导LLM理解数据集中的特定数据类型。这一分类有助于理解不同方法在流程中的角色与适用场景。
评估主观任务的缺口
文章提到，现有自动评估方法依赖有标准答案的客观查询，未能充分解决创造性和联想性多模态任务的细微差别。MLLM-Bench覆盖感知、理解、应用、分析、评估、创作及伦理考虑，旨在更准确反映用户体验。对比结果显示，现有开源模型与GPT-4V之间存在显著性能差距，说明主观任务评估仍是需要持续投入的方向。
视觉指导调整的意外收益
文章指出，视觉指导调整在纯自然语言处理环境中意外且有趣地帮助模型实现了改进的真实性和道德一致性。这一发现提示，多模态训练范式的影响可能超出视觉任务本身，对语言模型的行为对齐产生积极作用，值得在后续研究中进一步关注其机制与边界。
Q&A
多模态大语言模型（MLLMs）的模态对齐方法主要分为哪几类？
论文将MLLMs的模态对齐方法分为四类：多模态转换器（将数据转换为LLMs可理解的格式）、多模态感知器（改善LLMs对不同类型数据的感知能力）、工具辅助（将数据转换为常见格式，通常是文本）和数据驱动方法（教导LLMs理解数据集中特定类型的数据）。
为什么模态对齐对MLLMs很重要？
MLLMs面临处理多模态语义差距的挑战，可能导致错误生成，对社会造成潜在风险。选择适当的模态对齐方法至关重要，因为不恰当的方法可能需要更多参数，并且性能改进有限。实施模态对齐使得LLMs能够解决环境问题并提高可访问性。
InfMLLM方法通过什么机制提升了视觉任务性能？
InfMLLM通过引入pool-adapter模块，保留视觉嵌入的位置信息，从而在图像描述、视觉问题回答和视觉定位等任务中达到了与最新多模态大语言模型相当或超越的性能。
MLLM-Bench基准是用来解决什么问题的？
MLLM-Bench旨在解决现有自动评估方法依赖于具有标准答案的客观查询、未能充分解决创造性和联想性多模态任务主观性的问题。它涵盖感知、理解、应用、分析、评估和创作等场景，以及伦理考虑，能更准确反映用户体验并全面评估模型性能。
视觉指导调整对MLLMs有什么意外效果？
视觉指导调整在纯自然语言处理（NLP）环境中意外且有趣地帮助模型实现了改进的真实性和道德一致性。
如何利用MLLMs改善图像文本检索的性能？
通过使用MLLMs扩展每个图像的多个标题，并采用“文本切割”方法来防止MLLMs引入的偏见和内在标题风格，在图像文本检索中，微调和零样本设置下分别获得5.6~35.0%和16.8~46.1%的R@1提升，零样本结果可与目标数据集上的微调相媲美。
