量子位
·
AI解数学题只靠最后一个token
💡
原文中文，约3000字，阅读约需7分钟。
📝
内容提要
研究表明，大语言模型在解心算题时，计算主要集中在最后一个token上，表明模型在特定任务中不需全局信息。通过消融实验，揭示了模型内部的稀疏子图结构，强调了输入特定计算与通用计算的分离。
🎯
关键要点
- 研究发现大语言模型在心算任务中，计算主要集中在最后一个token上。
- 全局信息访问在特定任务中并非必需，模型可以通过局部信息完成计算。
- 研究采用上下文感知平均消融和基于注意力的窥视技术进行消融实验。
- 模型内部形成稀疏子图，称为“人人为我”，通过最少计算层高效完成运算。
- 输入的前几层token主要进行通用准备工作，而最后一个token负责实际计算。
- 研究揭示了任务通用型计算与输入特定型计算的分离。
- 实验表明，Llama-3-8B模型在心算任务中只需前14层进行通用计算，最后token进行自计算。
- AF1_llama在多个任务中表现出高忠实度，且关键注意力头集中在少数层。
- AF1_llama在直接算术任务中保持高准确率，但在需要语义理解的任务上表现不佳。
- 研究为大语言模型中的算术推理和跨token计算机制提供了新的理解和方法论创新。
❓
延伸问答
大语言模型在解心算题时主要依赖哪个token？
大语言模型在解心算题时主要依赖最后一个token进行计算。
研究中提到的稀疏子图是什么？
稀疏子图是指模型内部形成的结构，称为“人人为我”，通过最少计算层高效完成运算。
心算任务中全局信息访问是否必要？
在心算任务中，全局信息访问并非必需，模型可以通过局部信息完成计算。
研究采用了哪些实验方法？
研究采用了上下文感知平均消融和基于注意力的窥视技术进行消融实验。
AF1_llama模型在算术任务中的表现如何？
AF1_llama在直接算术任务中保持高准确率，但在需要语义理解的任务上表现不佳。
研究对大语言模型的算术推理有什么贡献？
研究为大语言模型中的算术推理和跨token计算机制提供了新的理解和方法论创新。
➡️
