思维传播：扩散语言模型中的思维链推理
内容提要
该文综述多模态链式思考推理研究，提出扩散过程融合图像与文本特征、DDCoT提示、DOCTOR知识蒸馏等方法，提升复杂推理能力，在ScienceQA等基准上超越GPT-3.5甚至人类表现。
延伸解读
多模态推理的挑战与创新思路
文章指出，将思维链（CoT）推理扩展到多模态情境面临劳动密集型注释、灵活性、泛化性和可解释性等挑战。为此，研究者提出“保持批判性思维”和“让每个人发挥各自的作用”两个关键见解，并开发了DDCoT提示方法，通过负空间提示保持批判态度，并将推理责任划分为推理和识别，整合视觉模型的识别能力，从而提升多模态推理性能。
扩散过程与知识蒸馏的融合
文章介绍了一种利用扩散过程在潜在空间学习图像特征的方法，以融合图像和文本表示，增强多模态链式思考推理能力。同时，提出了DOCTOR知识蒸馏框架，将大型语言模型作为不可靠教师，通过过滤选择一致的合理性，为对话多跳推理提供可靠逻辑基础，显著提高了对话代理的响应质量。
性能突破与基准表现
文章提到，所提出的多模态CoT框架在ScienceQA基准测试中达到了91.68%的准确率，比GPT-3.5高出16个百分点，甚至超过了人类表现。此外，使用T5预训练模型实现的图形思维推理模型，以较少的参数在GSM8K和ScienceQA任务上取得了与700M参数的Multimodal-CoT模型相当的结果，展示了高效性。
Q&A
扩散语言模型中的思维链推理是什么？
扩散语言模型中的思维链推理是一种多模态链式思考推理方法，通过扩散过程利用潜在空间学习产生与语言思维相吻合的有效图像特征，融合图像特征和文本表示，从而提高多模态链式思考推理的复杂推理能力。
扩散语言模型中的思维链推理在哪些基准测试上表现突出？
在ScienceQA基准测试中，该方法的准确率达到91.68%，比GPT-3.5高出16个百分点（75.17%->91.68%），甚至超过了人类的表现。
DDCoT提示是如何提升多模态推理能力的？
DDCoT提示通过负空间提示保持批判性态度，并将LLMs的推理责任划分为推理和识别，然后将视觉模型的视觉识别能力整合到联合推理过程中，从而融入多模态推理，生成的基于理性的解释改进了大型和小型语言模型在零样本提示和微调学习中的推理能力。
DOCTOR框架在对话多跳推理中有什么作用？
DOCTOR是一种可靠的DialOgue Chain-of-Thought Reasoner，利用大型语言模型作为不可靠的教师，通过对齐过滤器选择性地提炼一致和有帮助的合理性，为响应生成提供可靠的逻辑基础，显著提高了对话代理的响应质量。
多模态思维链推理面临哪些挑战？
多模态思维链推理面临对劳动密集型注释的不切实际需求，以及在灵活性、泛化性和可解释性方面的限制。
跨语言多步推理方法是如何实现的？
通过一种自洽的跨语言提示机制，提出跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。
