解密巴别塔：探索大型语言模型中的多语言激活模式
内容提要
该文综述大型语言模型内部机制研究，涵盖语言神经元检测（语言激活概率熵）、模型预测与眼动相关性、FFN层记忆与理解能力的层数变化、自注意力多头分散特性；多语言翻译评估涉及102种语言，模型分层特征与大脑趋同；还涉及多模态神经元识别与知识编辑、语法神经元分布及第二语言习得迁移。
延伸解读
语言神经元的可控性
文章提到，通过语言激活概率熵（LAPE）方法，可以识别大型语言模型中的语言特定区域。实验显示，激活或关闭特定语言神经元能够控制模型输出的语言。这意味着模型内部存在与语言选择相关的可操作单元，为多语言生成的控制提供了潜在途径。
模型分层与大脑趋同
研究比较了大型语言模型与大脑的语言处理。随着模型在基准任务上性能提升，其分层特征提取路径与大脑映射更密切，且用更少层完成相同编码。高性能模型在层次化处理机制上更趋同，上下文信息能提高模型性能及与大脑相似性。
多语言翻译评估与模型差异
文章在102种语言上评估了XGLM、OPT、BLOOMZ和ChatGPT的多语言机器翻译性能，并分析了这些模型的新工作方式。这表明不同模型在多语言任务上存在差异，评估覆盖广泛语言，为理解模型的多语言能力提供了实证基础。
语法敏感性与评估局限
通过反事实扰动实验，研究观察了多语言模型和单语BERT中主谓一致概率的变化，发现了受语法一致性影响的神经元分布。文章指出，语言模型的行为分析可能低估了掩码语言模型对语法信息的敏感性，提示评估方法需更细致。
Q&A
什么是语言激活概率熵（LAPE）？它在大型语言模型研究中有什么作用？
语言激活概率熵（LAPE）是一种新的检测方法，用于研究大型语言模型中的Transformer架构，以确定语言特定的区域。通过LAPE，可以显示激活或关闭特定语言神经元对大型语言模型输出语言的可控性。
大型语言模型在处理多语言机器翻译时有哪些优势和挑战？
大型语言模型在多语言机器翻译中具有优势，例如在102种语言上评估的XGLM、OPT、BLOOMZ和ChatGPT等模型表现出新的工作方式。但同时也面临挑战，具体挑战未在文中详细说明。
大型语言模型的分层特征提取路径与大脑的映射关系如何？
随着大型语言模型在基准任务上性能的提高，它们不仅在预测LLM嵌入的神经相应性时表现出更高的脑部相似性，而且它们的分层特征提取路径与大脑的映射更为密切，并且使用较少的层进行相同的编码。高性能模型在层次化处理机制方面更多地趋同。
如何识别基于Transformer的多模态大型语言模型中的多模态神经元？
通过一系列实验，提出了一种基于多模态神经元的新方法，用于识别基于Transformer的多模态大型语言模型中的多模态神经元，并通过四个精心设计的定量评估指标突出了多模态神经元的三个关键属性。此外，还介绍了一种基于识别的多模态神经元的知识编辑方法，用于将一个特定标记修改为另一个指定标记。
大型语言模型中的语法神经元是如何分布的？
该研究通过在不同语言的多语言语言模型和单语BERT模型中执行反事实扰动，并观察模型主谓一致概率的效果，发现了受语法一致性影响的神经元的分布情况。语言模型的行为分析可能低估了掩码语言模型对语法信息的敏感性。
大型语言模型在第二语言习得方面有哪些发现？
本文研究了神经语言模型的第二语言习得，通过对双语LM的训练和分析交叉语言传递，发现在语言迁移配置方面，L1预训练可以加速L2的语言泛化，并且影响泛化的因素非常明显，研究了它们在特定方面的非人类的L2习得能力。
