CoReS：推理与分割的协同舞蹈
内容提要
该研究提出了一种新的推理分割任务，展示了多模态语言模型LISA在复杂推理分割中的有效性。通过Chain-of-Spot方法，增强了视觉内容理解能力，并提出了两阶段训练框架以提升视觉推理性能和一致性。此外，开发了Visual CoT框架，结合可解释性推理处理复杂视觉输入，提供了有效的推理策略和数据集，推动相关研究进展。
延伸解读
推理分割的任务定义与模型基础
文章将推理分割定义为一项新任务，要求模型根据语言提示中的复杂问题或查询，输出语言响应并分割出所关注的区域。研究展示了多模态语言模型LISA在该任务上的有效性，表明其能够处理复杂推理分割和标准引用分割。这为后续方法提供了基线，也凸显了推理与分割结合的必要性。
Chain-of-Spot与两阶段训练框架的协同
Chain-of-Spot通过关注图像中与问题对应的关键区域，增强特征提取，提供多粒度图像特征，从而提升大型视觉-语言模型的理解和推理能力。两阶段训练框架则先利用LLMs生成的逐步推理样本进行监督微调，再结合LLMs反馈增强训练，旨在提高推理性能和一致性。两者共同作用，从特征和训练策略上支持复杂推理分割。
多模态CoT与Visual CoT的进展
多模态-CoT框架结合语言与视觉信息生成理由并推断答案，在ScienceQA基准上达到91.68%准确度，超过GPT-3.5的75.17%并超越人类表现。Visual CoT则通过可解释性认知链条处理复杂视觉输入，并引入包含373k问题-答案对的数据集，其中间边界框突出关键区域，为评估和提升MLLMs在局部识别场景中的性能提供了资源。
复合推理的失败根源与CREME修复
研究揭示LLMs在复合推理任务中的失败大多源于生成或利用不当的隐性推理结果。隐性推理结果存在于中间层，并对最终明确推理结果有因果作用，多头自注意力模块是关键。基于此开发的CREME方法，通过编辑定位的多头自注意力模块修复错误，为自主持续提升复合推理能力提供了轻量级方案。
Q&A
什么是推理分割任务？
推理分割任务是一种激活感知系统中推理能力的任务，旨在通过多模态语言模型进行复杂视觉内容的理解和分割。
Chain-of-Spot方法如何增强视觉内容理解能力？
Chain-of-Spot方法通过关注图像中的关键区域，增强特征提取能力，从而提高视觉内容的理解和推理能力。
该研究提出了什么样的训练框架？
研究提出了一个两阶段训练框架，第一阶段使用LLMs生成的逐步推理样本进行微调，第二阶段结合LLMs反馈增强训练过程。
多模态-CoT框架的优势是什么？
多模态-CoT框架结合语言与视觉信息，提升了答案推断的准确性，性能超过了先前最先进的LLM。
CREME方法的目的是什么？
CREME方法旨在修复复合推理中的错误，提升语言模型的复合推理能力。
Visual CoT框架的主要贡献是什么？
Visual CoT框架通过可解释性推理处理复杂视觉输入，提供有效的推理策略和数据集，推动相关研究进展。
