借助合成图导航模型增进对 Transformer 中逐步推理的理解
内容提要
该文综述多跳推理与解释生成研究，提出迭代推理算法检索事实证据，用排序损失缓解多源选择问题，基于Transformer在精度与效率上超越先前技术；并探讨推理步骤有效性、非顺序图脚本推理、神经模块组合推理、序列到序列生成中间步骤、机械化探测语言模型推理树及句法指导翻译等，推动可解释推理发展。
延伸解读
多跳推理中的证据选择挑战
文章指出，多跳解释生成需要从语料库中检索相关事实证据，但多源证据的选择是一大难题。为此，作者采用自回归方式选取事实，并引入排序损失来缓解选择问题。这种设计让模型在生成推理步骤时能更准确地聚焦关键证据，从而提升解释的连贯性和可靠性。
推理步骤有效性的条件
文章提到，推理步骤是否有效取决于训练数据的统计结构以及中间变量与目标推理之间的相关性。这意味着，并非所有任务都能从显式推理步骤中获益；当数据中存在可利用的统计规律或中间变量与目标强相关时，推理步骤才更有帮助。这一发现提醒研究者在设计推理模型时需考虑数据特性。
机械化探测揭示模型推理机制
为了探究语言模型是依赖记忆还是真正进行多步推理，文章介绍了一种机械化探测器，能从注意力模式中恢复推理树。在GPT-2和LLaMA上的实验表明，多数情况下模型注意力中确实包含推理树信息，说明模型在许多任务中经历了多步推理过程。这为理解Transformer内部推理提供了新工具。
句法指导提升翻译效率
文章还提到一种基于句法指导的Transformer模型SynST，它先预测分块解析树，再并行生成目标语言的所有标记。在En-De和En-Fr数据集上，SynST不仅BLEU分数高于自回归基线，速度还快了约5倍。这表明结合句法结构可以在不牺牲质量的前提下显著提升翻译效率。
Q&A
多跳解释再生中如何解决多源证据选择问题？
该算法通过自回归地从语料库中选取事实，并采用学习排序损失的方式来缓解多源证据的选择问题。
推理步骤的有效性取决于哪些因素？
推理步骤的有效性取决于训练数据的统计结构以及中间变量与目标推理之间的相关性。
非顺序图脚本推理任务旨在捕捉什么？
该任务旨在捕捉程序规划中的可选步骤和可互换步骤，并通过多模态框架将视频转换成观察到的步骤路径，以训练生成明确图脚本和预测未来步骤的模型。
序列到序列模型如何生成中间推理步骤并提升NLI性能？
通过序列到序列模型结合外部知识和符号搜索，在仅有下一步监督的情况下生成中间步骤并证明其正确性，这些生成的步骤可通过简单的数据扩增策略提高多个公共NLI数据集的综合性能。
机械化探测器如何分析语言模型的推理过程？
机械化探测器从模型的注意力模式中恢复推理树，用于分析GPT-2在合成任务（第k个最小元素）上以及LLaMA在两个简单基于语言的推理任务（ProofWriter和AI2推理挑战）上的表现，能够在大多数示例中检测到推理树信息，表明语言模型确实经历了多步推理过程。
SynST模型相比自回归Transformer在翻译上有哪些优势？
SynST模型在预测出分块解析树后自动并行生成目标语言的所有标记，提高了翻译速度；在En-De和En-Fr数据集上实现了更高的BLEU分数，且速度快了约5倍。
