层次链：从有限示例中迭代地激励大语言模型进行分类归纳
内容提要
本文综述大语言模型推理与分类法归纳研究，涵盖：用强化学习从术语自动构建分类法，祖先F1提升19.6%；迭代提示增强多步推理；思维链提示显著提升数学与常识推理；提示法构建分类法优于微调；分层图模型为思维链提供理论收敛保证；Iter-CoT可自主纠错；逐次引导提升法律文本分类；MCMC-EM微调优于STaR。
延伸解读
分类法归纳的强化学习路径
文章介绍了一种基于强化学习的分类法归纳方法，该方法从术语集合中自动构建分类法。它利用多种信息源学习术语对的表示，并通过策略网络决定术语的选择和放置位置。训练时使用整体树度量作为累积奖励。实验表明，该方法在两个公共数据集上比先前最先进方法在祖先F1上提升了19.6%。这显示了强化学习在结构化知识归纳中的潜力。
迭代提示与思维链的演进
文章回顾了迭代提示框架和思维链提示的发展。迭代提示器能动态合成提示以捕捉推理步骤变化，提升多步推理能力。思维链提示通过少量示例显著提高数学、常识和符号推理任务性能，甚至超过微调GPT-3。后续工作如Iter-CoT让模型自主纠错并选择适度难题，增强了泛化能力。这些方法共同推动了LLM推理能力的进步。
理论保证与微调策略创新
文章提到了分层图模型为思维链提供理论收敛保证，解释了LLM生成正确思维序列的原因。在微调方面，MCMC-EM方法通过最大化边际对数似然并采样解释后验，在GSM8K和BIG-Bench Hard上优于STaR和标准微调。这些理论和方法创新为LLM推理的可靠性和性能提升提供了新视角。
Q&A
如何用强化学习从术语自动构建分类法？
该方法采用多种信息源学习术语对的表示，并使用策略网络确定选择哪个术语以及将其放置在分类法中的何处，训练时通过整体树度量进行累积奖励。在两个公共数据集上，其祖先F1比先前最先进方法高出19.6%。
迭代提示框架如何增强大语言模型的多步推理能力？
该框架使用基于上下文的迭代提示器，动态合成提示以捕捉不同推理步骤之间的变化，实验证明在多步推理方面效果很好。
思维链提示对大语言模型推理性能有什么提升？
在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能，甚至超过微调后的GPT-3。
提示法构建分类法与微调方法相比有何优势？
通过对大规模语言模型进行提示，可以在受限结构约束下构建符合要求的分类法，相比微调方法模型的性能更好，但处理由提示方法生成的分类法违规的情况具有挑战性。
Iter-CoT方法如何让大语言模型自主纠错？
Iter-CoT通过迭代的引导选择，使大型语言模型能够自主纠正错误，同时选择具有适度难度的挑战性问题作为样本，从而增强模型对不同难度推理任务的泛化能力，在11个数据集上表现卓越。
MCMC-EM微调技术相比STaR有什么改进？
MCMC-EM微调通过最大化生成正确答案的边际对数似然，使用马尔可夫链蒙特卡罗-期望最大化算法采样解释后验分布，并采用控制变量技术降低梯度估计方差。在GSM8K和BIG-Bench Hard任务上，其留存样例准确性通常高于STaR或带思维链提示的微调方法。
