KAM-CoT：知识增强的多模式思维链推理
内容提要
该文综述多模态思维链推理研究，提出多模态CoT框架，结合语言与视觉生成理由，在ScienceQA上准确率达91.68%，超过GPT-3.5及人类表现；KD-CoT利用外部知识校验推理以缓解幻觉；IRCoT通过交替检索与CoT提升多跳问答；ChatCoT为聊天模型提供工具辅助推理；Sci-CoT以知识蒸馏使小模型超越大模型。
延伸解读
多模态思维链的突破：超越人类表现
文章提到，多模态CoT框架在ScienceQA基准上达到91.68%的准确率，比GPT-3.5高出16个百分点，并超过人类表现。这显示了结合语言与视觉信息生成推理理由的有效性，为多模态推理提供了新思路。
知识增强与检索：缓解幻觉与提升多跳问答
KD-CoT通过外部知识验证和修改推理过程，缓解幻觉和错误传播；IRCoT交替进行检索和思维链，在多跳QA任务上提升性能，甚至小型模型也能受益。这些方法强调了外部知识在复杂推理中的重要性。
小模型的高效推理：知识蒸馏与工具辅助
Sci-CoT通过两阶段框架将大模型推理能力蒸馏到小模型，使8000万参数模型在少样本情况下超越BLOOM-176B；ChatCoT为聊天模型提供工具辅助推理，大幅提升复杂任务表现。这展示了提升小模型推理能力的可行路径。
Q&A
KAM-CoT 提出的多模态思维链框架在 ScienceQA 上取得了怎样的性能？
该框架在 ScienceQA 基准测试上达到了 91.68% 的准确率，比 GPT-3.5 高出 16 个百分点（75.17% -> 91.68%），甚至超过了人类的表现。
KD-CoT 框架是如何缓解幻觉和错误传播的？
KD-CoT 通过与外部知识交互，验证和修改语言模型的推理过程，从而缓解幻觉和错误传播，尤其在回答知识密集型任务时。
IRCoT 方法在哪些数据集上提升了多跳问答性能？
IRCoT 在 HotpotQA、2WikiMultihopQA、MuSiQue 和 IIRC 四个数据集上取得了显著的检索和 QA 性能改进，即使在小型模型 T5-Flan-large（0.7B）上也能奏效。
ChatCoT 是什么？它有什么作用？
ChatCoT 是一种用于聊天式大语言模型的工具辅助思维链推理框架，大幅提高了在复杂推理任务上的表现。
Sci-CoT 如何让小模型超越大模型？
Sci-CoT 通过知识蒸馏将大型语言模型的推理能力传递给较小模型，采用两阶段框架分离生成推理步骤和推理答案的过程，使得 8000 万参数的模型在 ARC-Easy 数据集的少样本情况下超过了 BLOOM-176B 的性能。
多模态思维链推理中如何利用潜在空间学习来融合图像和文本特征？
通过扩散过程利用潜在空间学习产生与语言思维相吻合的有效图像特征，来融合图像特征和文本表示，提高多模态链式思考推理的复杂推理能力。
