对于在不同阿拉伯语方言上训练的transformer模型进行的分析发现，单词形态在较低和中间层次上学习，句法依赖在较高层次上被捕获。嵌入层的神经元是一词多义的，而中间层的神经元仅适用于特定属性。

该研究使用三种内在任务对阿拉伯语方言预训练模型进行了层和神经元分析，发现单词形态在较低和中间层中学习，方言识别需要更多知识，基于MSA的模型无法捕捉阿拉伯语方言的细微差别，中间层中的神经元专门用于特定属性。