GPT2 语言模型中的通用神经元
内容提要
该文综述多项神经元级研究：多语言模型跨语言重叠显著，支持语法通用抽象；语言模型仅小子集神经元预测语言任务，句法比形态更分散，XLNet更局部、BERT更分布；自然语言解释GPT-2神经元错误率高、因果效果弱；多模态神经元可迁移视觉概念并影响图像字幕；GNN神经元可作概念探测器；视觉模型存在通用Rosetta神经元；多语言翻译可分离通用与语言特定神经元；GPT-2激活可分解为词汇、组合、句法、语义四类。
延伸解读
神经元解释的忠实度挑战
文章指出，即使对GPT-2 XL神经元生成的自然语言解释信心很高，其错误率也高且几乎没有因果效果。这提醒读者，仅凭语言描述来理解神经元行为可能不可靠，需要结合因果干预等方法来验证解释的忠实度。
架构差异影响信息分布
研究发现，预测句法任务的神经元比形态任务更分散，且XLNet的神经元更局部化，而BERT更分布式。这表明不同模型架构在学习语言属性时存在差异，分析神经元时应考虑架构特性，不能一概而论。
跨模态与跨语言的通用性
多模态神经元能迁移视觉概念并影响图像字幕，视觉模型存在通用的Rosetta神经元，多语言模型跨语言重叠显著。这些发现支持神经网络中存在可迁移的通用表征，但文章也指出重叠范围受语言接近性和数据大小影响。
Q&A
多语言预训练模型在神经元层面是否存在跨语言重叠？
研究发现多语言预训练模型的跨语言重叠是显著的，但其范围可能因语言接近性和预训练数据的大小而异，这支持模型能够对语法进行语言通用的抽象。
语言模型中的神经元是如何分布来预测不同语言任务的？
预测语言任务的神经元是小的子集；与较低级任务（如形态学）相比，预测句法这样的更高级任务的神经元更加分散。跨架构比较显示，XLNet中的神经元更加局部化和不连通，而BERT等则更加分布式和耦合。
GPT-2神经元的自然语言解释是否忠实可靠？
即使是最有信心的自然语言解释也存在高错误率和几乎没有因果效果，因此自然语言解释的忠实度受到质疑。
多模态神经元在视觉-语言模型中起什么作用？
多模态神经元在特定的视觉概念上操作，并对图像字幕生成产生系统性的因果影响，验证了它们在模态间转换中的作用。
图神经网络（GNN）中的神经元能否作为概念探测器？
是的，GNN神经元充当概念探测器，在逻辑组合的节点度和邻域属性的概念中具有良好的对齐性，从而将GNNs转换成易于理解的概念级别，提高模型的解释性和透明性。
不同视觉模型中是否存在通用的神经元表征？
研究发现通过挖掘Rosetta Neurons字典，可以在不同的视觉模型中发现一些通用的视觉概念和结构，这些Rosetta Neurons可以实现模型之间的翻译并进行跨类别的对齐、平移、缩放等操作，而不需要特殊训练。
多语言神经机器翻译中如何分离通用和语言特定神经元？
研究提出了一种新的多语言神经机器翻译模型，将模型神经元划分为通用部分和特定语言部分，以解决当前方法忽略语言特定知识的问题，实验证明该方法对多种语言对有很好的效果和普适性。
GPT-2的激活可以分解为哪些语言表示类别？
通过对GPT-2的激活进行统计，可以将高维度激活分解成四个组合类别：词汇、组合、句法和语义表示。
