本文提出了一种新方法“建设性电路放大”,通过识别模型推理中的关键标记和相关组件,针对性地更新大语言模型(LLMs)的特定电路。这种方法在数学推理中提高了准确率,最多可达11.4%,同时仅修改了1.59%的模型组件,对其他能力影响最小,表明选择性更新稀疏组件可以有效增强特定能力。
完成下面两步后,将自动完成登录并继续当前操作。