CogCoM：通过一系列操作训练大型视觉语言模型深入细节
内容提要
该文综述视觉语言模型（VLMs）进展，提出LLM-Human-in-the-Loop流程与CURE基准，发现现有模型视觉推理与一致性不足，并提出两阶段训练框架改进。随后介绍CoVLM、Cola、CogVLM、ViCor、AMSolver、VaLM、CG-VLM、ViLaM等模型，分别提升组合推理、多模型协调、视觉语言融合、常识推理、机器人操作及医学图像分析能力。
延伸解读
视觉推理的瓶颈与改进方向
文章指出，即使表现最佳的视觉语言模型（VLMs）也无法展示出强大的视觉推理能力和一致性，表明需要大量努力使VLMs能够像人类一样系统而一致地进行视觉推理。为此，作者提出了一个两阶段训练框架：第一阶段使用LLMs自动生成的逐步推理样本进行监督微调；第二阶段结合LLMs的反馈来增强训练，以产生高度一致和可靠的推理链。该框架在推理性能和一致性上均显示出有效性。
模型协作与能力互补
文章介绍了多个模型，其中Cola通过协调多个视觉语言模型，利用自然语言交流发挥它们不同且互补的能力，由大型语言模型高效协调，实现令人印象深刻的视觉推理。ViCor则探索预训练VLM和LLM在视觉常识推理中的协同，将问题分为视觉常识理解和视觉常识推断，在推断方面通过LLM主动引导VLM关注相关视觉元素，在无需领域内监督微调的情况下优于其他方法。
视觉语言融合的技术路径
CogVLM通过可训练的视觉专家模块在注意力和前馈网络层之间填补预训练语言模型和图像编码器之间的差距，实现视觉语言特征的深度融合，且不牺牲自然语言处理性能，在多个跨模态基准上取得最先进或接近最先进的结果。CG-VLM则通过对比和生成方法对齐ViT和LLM的表示，实现视觉-语言对齐，成为高效的指令学习器。这些工作展示了不同融合策略的有效性。
垂直领域的应用探索
文章提到ViLaM是一个统一的视觉-语言转换模型，通过集成基于大型语言模型的指令调整，在医学图像分析等复杂视觉任务中取得非凡表现，并展示出令人印象深刻的零样本学习能力，表明其在医学领域具有潜在应用。此外，AMSolver系统和VLMbench基准用于基于语言指令的机器人操作任务，6D-CLIPort模型处理多视角观察和语言输入并输出6自由度动作，体现了视觉语言模型在机器人操作中的落地尝试。
Q&A
CogCoM 提出的两阶段训练框架具体是如何提升视觉语言模型的推理性能和一致性的？
第一阶段使用由 LLMs 自动生成的逐步推理样本对 VLMs 进行监督微调；第二阶段结合 LLMs 提供的反馈来增强训练过程，以产生高度一致和可靠的推理链。
CoVLM 是如何提升视觉语言模型在组合推理任务上的性能的？
CoVLM 通过引入通信令牌实现视觉感知与 LLMs 之间的无缝连接，从而大幅提升了以往视觉语言模型在组合推理任务上的性能，并在传统的视觉-语言任务中取得了最先进的表现。
Cola 方法如何协调多个视觉-语言模型来实现视觉推理？
Cola 通过促进自然语言交流以利用多个视觉-语言模型的不同且互补的能力，大型语言模型可以高效地协调它们，从而实现令人印象深刻的视觉推理能力。
CogVLM 在哪些跨模态基准测试中取得了最先进的性能？
CogVLM 在 10 个经典的跨模态基准测试中取得了最先进的性能，包括 NoCaps、Flicker30k 字幕、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA 和 TDIUC，并在 VQAv2、OKVQA、TextVQA、COCO 字幕等方面排名第二，超过或与 PaLI-X 55B 相匹配。
ViCor 方法如何解决视觉常识推理中的视觉常识推断困难？
ViCor 在视觉常识推断中通过 LLM 主动引导 VLM 集中关注和收集相关的视觉元素来支持潜在的常识推断，在两个 VCR 基准数据集上评估，并在不需要领域内监督微调的所有其他方法之上取得了优越的表现。
AMSolver 系统和 VLMbench 基准是用于什么任务的？
AMSolver 系统和 VLMbench 基准用于处理基于语言指令的机器人操作任务，并开发了基于关键点的 6D-CLIPort 模型来处理多视角观察和语言输入并输出一系列 6 自由度（DoF）动作。
VaLM 预训练框架如何增强语言建模的视觉知识？
VaLM 通过图像检索模块检索相应图像，使用视觉知识融合层使多模态语言建模可以参考文本和图像的视觉知识，并在需要的情况下获取相关联的图片，在视觉知识密集型的常识推理任务上性能优于强语言和视觉语言基线。
ViLaM 模型在医学图像分析中有什么优势？
ViLaM 通过集成基于大型语言模型的指令调整，能够在包括语言和视觉的一系列任务中最佳利用大型预训练语言模型的知识和推理能力，从而在医学图像分析等复杂视觉任务中取得了非凡的表现，并展示了令人印象深刻的零样本学习能力。
