使用分岔的思维链在语言模型中进行微调，提升推理能力和自我纠正
内容提要
本文介绍了大型语言模型在数学推理中的指令调优进展，提出了双向指令调优策略和Fine-tune-CoT方法，通过微调提升小模型的推理能力。研究表明，结合思维链提示和多模态信息可以显著提高模型的准确性，尤其在跨领域任务中表现优异。
延伸解读
微调小模型推理的可行路径
文章介绍了Fine-tune-CoT方法，即利用大语言模型生成推理样本，再微调小模型，从而提升小模型的推理能力。这为资源有限的研究者提供了一种思路：不必直接训练大模型，而是通过高质量推理数据蒸馏，让小模型获得接近大模型的推理表现。但需注意，该方法依赖大模型生成样本的质量，且微调效果受限于小模型本身容量。
跨领域泛化仍是难点
传统教师-学生学习在领域内表现优秀，但跨领域任务效果较差。CasCoD方法通过级联分解，将单步学习拆为两步，并去除预设答案，让学生模型专注于推理原理，从而提升泛化能力。这表明，单纯模仿答案可能不利于迁移，而学习推理过程更有助于应对新领域问题。不过，文章未说明CasCoD在极端跨领域差距下的表现。
多模态CoT的潜力与局限
多模态-CoT框架结合语言与视觉信息，在ScienceQA基准上达到91.68%准确率，超过GPT-3.5和人类表现。这说明融合多模态信息能显著提升复杂推理任务的准确性。但该结果基于特定数据集，是否适用于其他多模态场景尚不明确。此外，框架依赖高质量视觉信息，若输入模态缺失或噪声大，效果可能下降。
提升CoT忠实性的挑战
文章探索了上下文学习、微调和激活编辑三种方法，试图提高LLM的CoT推理准确性，但实证表明改进有限：激活编辑几乎无效，微调和上下文学习仅在部分评估中略有提升。这提示当前方法难以确保CoT推理忠实反映模型真实行为，尤其在医疗等关键领域，依赖CoT输出需谨慎。未来可能需要更根本的架构或训练创新。
Q&A
什么是双向指令调优策略？
双向指令调优策略通过前向和后向推理任务来改善语言模型对数学推理的理解与执行能力。
Fine-tune-CoT 方法如何提升小模型的推理能力？
Fine-tune-CoT 方法利用大型语言模型生成推理样本，并通过微调来教授较小的模型，从而提升其推理能力。
mCoT数据集的特点是什么？
mCoT是一个大规模的多语言数学推理数据集，旨在提高模型的推理能力和一致性。
CasCoD方法如何提高推理泛化能力？
CasCoD方法通过将传统的单步学习过程分解为两个级联学习步骤，确保学生模型专注于学习推理原理，从而提高推理泛化能力。
多模态-CoT框架的优势是什么？
多模态-CoT框架结合语言与视觉信息，显著提高答案推断的准确度，超过了先前的模型表现。
当前方法在提高LLM的推理准确性方面存在哪些局限性？
当前方法如上下文学习、微调和激活编辑在提高LLM的推理准确性方面的效果有限，仅在特定情境中略有提升。
