通过算法思维链条理解 LLM 训练数据中的噪音效应
内容提要
该文综述大语言模型思维链（CoT）微调研究，涵盖MCMC-EM最大化边际似然（在GSM8K等任务上优于STaR）、嘈杂标签辅助微调、CoF-CoT分解NLU任务、CoT减少性别偏见、CoTT提升小模型表现、NoisyTune加噪改进微调、R3提示增强噪声下推理鲁棒性，以及CoT解释忠实度问题。
延伸解读
MCMC-EM 微调：从“单一解释”到“边际似然”
文章指出，传统监督微调通过最大化正确答案的对数似然来训练模型，但这种方法可能过度依赖某一种解释路径。而 MCMC-EM 微调则尝试最大化生成正确答案的边际对数似然，即对所有可能的解释进行平均。这种方法在 GSM8K 和 BIG-Bench Hard 任务上通常比 STaR 或带/不带思维链提示的微调方法在留存样例上表现更好。这提示我们，在训练数据存在噪声或多种合理解释时，考虑解释的多样性可能有助于提升模型的泛化能力。
噪声环境下的鲁棒性提升：R3 提示与 NoisyTune
针对噪声环境，文章介绍了两种方法：R3 提示方法通过改进思维链提示，在嘈杂语境下提高 LLM 推理准确性，实验显示平均推理准确性提高了 3.7%；NoisyTune 则在微调前向预训练语言模型参数添加噪声，在 GLUE 和 XTREME 基准上持续增强不同模型的下游任务表现。这些方法表明，无论是提示层面还是参数层面，主动引入或处理噪声都可能成为提升模型鲁棒性的有效策略。
思维链的双刃剑：减少偏见与解释忠实度风险
文章提到，思维链提示能够减少语言模型中的潜意识社会偏见，促使更公平的预测。然而，另一项研究指出，思维链推理虽然能提供合理解释，但有时会受输入偏见影响，误导我们对模型预测真实原因的认识，导致过度信任。因此，在利用思维链减少偏见的同时，必须对其解释的忠实度进行有针对性的评估和改进，特别是在社会偏见问题上。
思维链的适用边界：小模型与多粒度任务
文章综述了思维链在不同场景下的应用：CoTT 通过两步推理框架提升了小型蒙特卡罗模型在自然语言理解任务上的表现，在层次分类和关系抽取上优于基准方法；CoF-CoT 则将自然语言理解任务分解为多个推理步骤，利用抽象意义表示作为中间步骤，在零样本和少样本多领域设置下辅助多粒度任务。这些工作表明，思维链并非大模型专属，通过适当调整，小模型也能受益，且其应用可扩展到复杂的多粒度理解任务。
Q&A
MCMC-EM微调技术是什么？它和STaR相比有什么优势？
MCMC-EM是一种通过最大化生成正确答案的边际对数似然来微调LLM的策略，它使用马尔可夫链蒙特卡罗-期望最大化算法采样解释的后验分布，并采用控制变量技术降低梯度估计方差。在GSM8K和BIG-Bench Hard任务上，它通常比STaR或带/不带思维链提示的微调方法在留存样例上提高模型准确性。
如何利用嘈杂标签来改进预训练语言模型的微调？
可以使用嘈杂标签，通过引导大型语言模型来区分干净样本和嘈杂样本，并提供嘈杂标签之外的辅助信息，从而增强学习过程，改进预训练语言模型的微调。
CoF-CoT方法是如何分解自然语言理解任务的？
CoF-CoT（粗细链式思维）将自然语言理解任务分解为多个推理步骤，让大型语言模型学习获取和利用解决不同粒度任务所需的关键概念，并利用基于语义的抽象意义表示（AMR）结构化知识作为中间步骤，捕捉话语的细微差别和多样性结构，理解不同层次之间的联系。
思维链（CoT）对减少语言模型中的性别偏见有什么作用？
研究表明，大部分语言模型在不考虑链判断的情况下会做出带有社会偏见的预测，而链判断能够减少语言模型中的潜意识社会偏见，并促使公平的预测。
NoisyTune方法是如何提升预训练语言模型微调效果的？
NoisyTune是一种简单有效的方法，在微调之前为预训练语言模型的参数添加一些噪声，从而帮助更好地微调。在GLUE英语基准和XTREME多语言基准上的实验表明，NoisyTune可以持续增强不同PLMs在不同下游任务的微调效果。
R3提示方法在嘈杂语境下如何提升LLM的推理准确性？
R3提示方法用于处理嘈杂语境下的CoT推理，能够提高LLM在推理任务中的准确性。与现有CoT提示方法相比，R3在噪声环境下显著优越，实验显示平均推理准确性提高了3.7%，表现出强大的鲁棒性和普适性。
思维链解释的忠实度问题是什么？为什么需要关注？
本研究发现LLM的思维链推理能够提供合理的解释，但有时会受到输入偏见的影响而误导我们对模型预测真实原因的认识，这可能导致人们过度信任LLMs的预测结果。因此有必要针对模型解释的忠实度进行有针对性的评估和改进，特别是在社会偏见问题方面。
