视觉 CoT：在多模态语言模型中释放连续思维推理
内容提要
该研究提出了一种多模态推理框架，结合语言与视觉信息，显著提高推理准确性。通过DDCoT和VCoT方法，改善了多模态推理的复杂性和可解释性，超越了现有模型的表现。此外，研究探讨了大型多模态模型在处理多个图像输入时的能力，并提出了对比思维链方法以增强理解。
延伸解读
多模态推理的挑战与突破
文章指出，将思维链（CoT）扩展到多模态面临劳动密集型注释、灵活性、泛化性和可解释性等挑战。为此，研究提出“保持批判性思维”和“让每个人发挥各自的作用”两个关键见解，并开发了DDCoT提示，通过负空间提示保持批判态度，将推理责任划分为推理和识别，整合视觉模型的识别能力。该方法在零样本和微调学习中均提升了推理能力，并展现出泛化性和可解释性。
视觉增强与潜在空间推理
VCoT方法通过视觉增强和多模态填充降低序列数据中的逻辑间隙，改善下游任务表现并提供多步推理的可解释性。在视觉叙事和WikiHow摘要数据集上，人类评估显示VCoT超越了思维链基线，提供了新的合成数据增强。另一项工作通过扩散过程利用潜在空间学习生成与语言思维吻合的图像特征，融合图像和文本表示，提高了多模态链式思考推理的复杂推理能力。
多图像理解的评估与增强
针对大型多模态模型（LMMs）处理多个图像输入时的细粒度感知缺乏和融合倾向，研究评估了GPT-4V、Gemini、OpenFlamingo和MMICL等模型在图像-图像匹配和多图像-文本匹配任务上的表现。基于此，提出了对比思维链（CoCoT）方法，要求模型比较多个图像输入的相似性和差异性，并据此指导回答详细问题。实验表明CoCoT能增强多图像理解能力。
Q&A
什么是多模态推理框架？
多模态推理框架结合语言与视觉信息，以提高推理准确性和复杂性。
DDCoT和VCoT方法有什么作用？
DDCoT和VCoT方法改善了多模态推理的复杂性和可解释性，提升了模型的性能。
该研究如何提高多模态模型的推理能力？
通过对比思维链方法和视觉增强技术，研究提高了多模态模型在处理多个图像输入时的推理能力。
多模态推理中存在哪些挑战？
多模态推理面临劳动密集型注释需求、灵活性、泛化性和可解释性等挑战。
如何评估大型多模态模型的性能？
通过对图像与图像匹配及多图像与文本匹配的能力进行评估，来判断大型多模态模型的性能。
对比思维链方法的主要特点是什么？
对比思维链方法要求模型比较多个图像输入的相似性和差异性，以增强理解能力。
