AS-ES 学习：小模型中高效的 CoT 学习
内容提要
本文综述思维链提示的微调进展，包括MCMC-EM方法（最大化边际似然，在GSM8K等任务上优于STaR）、粗细链式思维、Ladder-of-Thought、CodeCoT、Iter-CoT、Fine-tune-CoT及多模态CoT等，可提升推理、代码生成与关系抽取表现。
延伸解读
MCMC-EM 微调的核心思路
文章提出用 MCMC-EM 算法最大化生成正确答案的边际对数似然，即对所有可能解释进行平均，而非仅优化单一标注推理链。该方法受自学习推理器、唤醒-休眠算法等启发，并引入控制变量技术降低梯度估计方差。在 GSM8K 和 BIG-Bench Hard 上，它通常比 STaR 或带/不带思维链提示的微调方法在留存样例上准确率更高。
从粗到细的推理分解
CoF-CoT 将自然语言理解任务分解为多个推理步骤，并利用基于语义的抽象意义表示（AMR）作为中间步骤，以捕捉话语的细微差别和多样性结构。这种方法在零样本和少样本多领域设置下，能辅助大型语言模型处理多粒度自然语言理解任务，帮助模型学习获取和利用不同粒度任务所需的关键概念。
小模型推理能力的提升路径
Fine-tune-CoT 利用非常大的语言模型生成推理样本，再通过微调教授较小的模型，从而在较小模型中实现大量推理能力优化。此外，基于 Flan-T5 的模型通过不同程度的微调学习思维链推理，在 27 个数据集上平均零样本准确率提高了 4.34% 和 2.44%，并在 4 个特定领域任务上获得进一步改进。
多模态与关系抽取的扩展
多模态 CoT 框架结合语言与视觉信息生成理由并推断答案，在 ScienceQA 基准上达到 91.68% 准确率，超过 GPT-3.5 和人类表现。CoT-ER 方法将具体证明推理显式纳入思维链提示，在 FewRel1.0 和 FewRel2.0 数据集上，无训练数据的表现与全监督最新方法相当，展示了思维链在关系抽取中的潜力。
Q&A
MCMC-EM微调方法是什么？它和STaR相比有什么优势？
MCMC-EM是一种微调策略，通过最大化生成正确答案的边际对数似然来优化模型，使用马尔可夫链蒙特卡罗-期望最大化算法采样解释的后验分布，并采用控制变量技术降低梯度估计方差。在GSM8K和BIG-Bench Hard任务上，它通常比STaR或带/不带思维链提示的微调方法在留存样例上提高模型准确性。
粗细链式思维（CoF-CoT）方法是如何工作的？它有什么效果？
CoF-CoT将自然语言理解任务分解为多个推理步骤，利用基于语义的抽象意义表示（AMR）结构化知识作为中间步骤，捕捉话语的细微差别和多样性结构，并理解不同层次之间的联系。在零样本和少样本多领域设置下，它证明了对大型语言模型在多粒度自然语言理解任务中的辅助作用。
Fine-tune-CoT方法如何让小模型获得推理能力？
Fine-tune-CoT利用非常大的语言模型生成推理样本，并通过微调来教授较小的模型，从而在较小的模型中实现大量的推理能力优化。
多模态CoT框架在ScienceQA基准测试中表现如何？
多模态CoT框架将语言与视觉信息相结合进行理由生成和答案推断，在ScienceQA基准测试中取得了91.68%的准确度，比先前最先进的LLM（GPT-3.5）高16个百分点（75.17%->91.68%），甚至超过了人类的表现。
Iter-CoT方法如何提升LLM的推理泛化能力？
Iter-CoT使用迭代的引导选择，使大型语言模型能够自主纠正错误，同时选择具有适度难度的挑战性问题作为样本，从而增强LLM对于不同难度推理任务的泛化能力。实验结果表明，Iter-CoT在11个数据集上展现出卓越的性能表现。
CoT-ER方法在少样本关系提取中效果如何？
CoT-ER方法利用具体证明推理将证据明确地纳入思维链式提示，实验结果表明，在FewRel1.0和FewRel2.0数据集上，CoT-ER方法（无训练数据）的表现与全监督（有100%训练数据）最新方法相当。
