该研究探讨了在低资源语言中使用语法归纳偏置来增强基于Transformer的语言模型的预训练过程的效果。实验结果表明，这些方法在低资源环境中产生不均匀的结果，并在大多数情况下提供出乎意料的少量益处。研究调查了五种低资源语言：维吾尔语、沃洛夫语、马耳他语、科普特语和古希腊语。