对于在不同阿拉伯语方言上训练的transformer模型进行的分析发现，单词形态在较低和中间层次上学习，句法依赖在较高层次上被捕获。嵌入层的神经元是一词多义的，而中间层的神经元仅适用于特定属性。