构造电路放大：通过针对性子网络更新提升大型语言模型的数学推理能力
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
研究表明，大型语言模型（LLMs）内部存在稀疏子网络，称为电路，负责特定任务。通过微调这些电路可以提升模型性能。我们提出了一种新方法——构造电路放大，识别关键标记和相关组件，仅更新这些部分。在数学推理中，该方法使准确率提高了11.4%，仅修改了1.59%的组件，对其他能力影响较小。结果表明，针对性增强能力是可行的。
🎯
关键要点
- 大型语言模型内部存在稀疏子网络，称为电路，负责特定任务。
- 微调电路可以提升模型性能。
- 提出了一种新方法——构造电路放大，识别关键标记和相关组件，仅更新这些部分。
- 在数学推理中，该方法使准确率提高了11.4%，仅修改了1.59%的组件。
- 对其他能力的影响较小，结果表明针对性增强能力是可行的。
➡️
