探索语言模型的多步推理能力的机械解释
原文中文，约400字，阅读约需1分钟。发表于：。在这篇论文中，我们通过探索一种机械化方法来回答语言模型在多步推理任务中是通过抄袭预训练语料库中记忆的答案还是通过多步推理机制来完成这些任务的疑问。我们引入了一种新的探测方法（称为机械化探测器），从模型的注意力模式中恢复推理树，用于分析两个语言模型：GPT-2 在一个合成任务（第 k 个最小元素）上以及 LLaMA 在两个简单的基于语言的推理任务（ProofWriter 和 AI2...
本文探讨了语言模型在多步推理任务中是通过抄袭预训练语料库中记忆的答案还是通过多步推理机制来完成这些任务的疑问，并通过引入一种新的探测方法——机械化探测器，从模型的注意力模式中恢复推理树，分析了GPT-2和LLaMA在不同任务上的表现。结果表明，在许多情况下，语言模型确实在其架构中经历了一个多步推理的过程。
