可配置的基础模型：从模块化视角构建大型语言模型
内容提要
本文介绍了一种具有模块化结构的神经注意力电路（NACs）模型，该模型在多种数据模态下表现优异。研究表明，神经元具有功能专业化，并通过Mixture-of-Experts分配到相应模块。该模型在多步推理和目标导向规划中表现出色，强调了模块在信息处理中的重要性，为大脑功能研究提供了基础。
延伸解读
模块化如何提升模型性能与可解释性
文章指出，模块化结构在预训练阶段更快稳定，且通过渐进式模块化增长，网络在记忆任务上表现出更好的性能、泛化能力和鲁棒性。即使仅训练模块间连接，结构拓扑引入的归纳偏置仍足够强大，使网络在固定模块内连接时表现良好。这表明模块化不仅提升性能，还增强了可解释性，因为模块是功能上连贯的单元，有助于专门的信息处理。
神经元功能专业化与Mixture-of-Experts分配
研究发现，预训练Transformer中的神经元具有功能专业化，可通过Mixture-of-Experts将分组神经元分配到对应功能模块。这种分配机制使得模型能够同时学习神经模块的参数化和稀疏连接，从而在不同数据模态下表现优异。这为理解大型语言模型的内部机制提供了新视角，即神经元并非均匀处理信息，而是按功能组织成模块。
模块化在规划与推理任务中的优势
文章提到，通过人脑与GPT-4模块的互动，利用认知神经科学知识改进LLMs的规划能力，在多步推理和目标导向规划等任务中取得显著改善。这表明模块化设计有助于模型处理复杂任务，因为模块作为功能上连贯的单元，能够专门化信息处理，并在控制系统行为中发挥重要作用。
模块化的形成机制与动力学意义
基于系统神经科学任务训练的循环神经网络研究表明，模块是通过输入层到循环层投射中的符号和权重的不对称性自发形成的。模块在控制系统行为和动力学中具有类似角色的连接，这阐明了功能连接模块的功能、形成和操作意义，为进一步研究大脑功能、发展和动力学奠定了基础。
Q&A
神经注意力电路（NACs）模型的主要特点是什么？
NACs模型是一种模块化的神经网络，能够同时学习神经模块的参数化和稀疏连接，表现优异。
Mixture-of-Experts在NACs模型中起什么作用？
Mixture-of-Experts用于将功能专业化的神经元分配到相应的功能模块中，提高模型的性能。
模块化结构如何影响模型的性能和可解释性？
模块化结构在预训练阶段更快稳定，有助于提高模型的性能和可解释性。
该模型在多步推理和目标导向规划中表现如何？
该模型在多步推理和目标导向规划任务中表现出色，强调了模块在信息处理中的重要性。
渐进式模块化增长对记忆任务有什么影响？
渐进式模块化增长使得网络在记忆任务上表现更好，具有更强的泛化能力和鲁棒性。
研究如何揭示模块在控制系统中的作用？
研究表明，模块是功能上连贯的单元，有助于专门的信息处理，并在控制系统行为中发挥重要作用。
