本文研究了预训练语言模型通过无监督学习中的遮盖和预测标记来改进语言结构和下游性能。实验证明，预训练模型的性能提升主要来自通用掩码，而非词典关联。通过最小生成树的无监督解析评估，发现简单形成最小生成树优于经典的无监督解析方法。