该研究使用三种内在任务对阿拉伯语方言预训练模型进行了层和神经元分析，发现单词形态在较低和中间层中学习，方言识别需要更多知识，基于MSA的模型无法捕捉阿拉伯语方言的细微差别，中间层中的神经元专门用于特定属性。