研究神经元激活作为统一视角来解释 LLM 的引发思维链的算术推理
内容提要
本文介绍了一种新方法Active-Prompt，通过任务特定示例提示优化大型语言模型（LLMs）的推理能力。研究表明，该方法在复杂推理任务中表现优越，特别是在数学推理和逻辑推理方面。提出了相关性、数学准确性和逻辑一致性三原则，以提高生成结果的准确性。
延伸解读
Active-Prompt 的核心机制
Active-Prompt 通过从查询池中选择最不确定的问题进行人工注释，从而确定对任务最有帮助的示例。这种方法使提示能够适应不同任务，在八项复杂推理任务上取得了当时的最佳结果。其核心在于利用模型的不确定性来指导示例选择，而非随机或固定示例。
思维链推理的机制探索
研究通过因果中介分析发现，大语言模型在算术问题上的预测主要受中后期少量层次激活的影响，且算术问题与事实知识的激活模式不同。这揭示了模型内部处理算术推理的特定组分，为理解思维链生成提供了机制性证据。
提升思维链准确性的挑战
尽管上下文学习、微调和激活编辑被用于指导模型行为，但实证分析表明这些方法在提高思维链推理准确性方面成果有限，仅在受控情境中略有提升，激活编辑几乎无效。这提示当前方法可能难以解决从大语言模型中获取准确思维链推理的复杂挑战。
多模态与符号推理的进展
多模态思维链框架在 ScienceQA 基准上达到 91.68% 的准确率，超过人类表现。同时，使用 Prolog 程序解决数学问题在 GSM8K 上优于思维链方法，并通过数据增强提升鲁棒性。这些工作展示了结合视觉信息与符号推理的潜力。
Q&A
Active-Prompt 方法的主要目标是什么？
Active-Prompt 方法旨在通过任务特定示例提示优化大型语言模型的推理能力。
该研究提出了哪些原则来提高推理结果的准确性？
研究提出了相关性、数学准确性和逻辑一致性三原则，以提高生成结果的准确性。
Chain-of-Thought 提示对大型语言模型的性能有何影响？
Chain-of-Thought 提示显著改善了大型语言模型在复杂任务中的性能，尤其是在数学和推理相关任务中。
研究中如何评估 Active-Prompt 方法的表现？
通过使用困惑度作为额外验证器，评估该方法在不同类型推理任务上的表现，结果优于基准生成。
该研究对大型语言模型的内部机制进行了哪些探索？
研究发现大型语言模型在连续思考生成上部署多个并行路径，产生顺序答案，并观察到功能分层差异。
Active-Prompt 方法在复杂推理任务中的表现如何？
该方法在复杂推理任务中表现优越，取得了八项复杂推理任务的最新成果。
