本文介绍了一种新型可变树机器架构，通过树形解释器将符号树操作编译为张量操作，从而提升结构转换任务的性能。同时，研究提出了基于递归Transformer的分层方法，扩展了双向语言模型的预训练目标，实验结果表明在语言建模和无监督解析中表现优异。

本文探讨了使用Universal Dependencies分析推文的问题，提出扩展UD指南以适应推文特有结构，并构建了解析流水线系统。研究还提出了无监督解析方法和双重分解学习策略，提升了多语言解析效果，展示了在不同条件下的有效性和鲁棒性。

本文提出了一种简单的 PCFG 形式，通过低秩参数化规则概率张量，将稠密 PCFG 扩展到数千个非终结符，有助于无监督解析。同时，提出了一种硬件 IO 感知的内部算法实现，用于高效扩展简单的 PCFG。

本文研究了预训练语言模型如何通过无监督学习中的遮盖和预测标记产生语言结构和改进下游性能。通过构建类似填空的掩码，并用于三个不同的分类数据集，证明了预训练模型的绝大部分性能提升来自没有与词典关联的通用掩码。同时，本文提出了一种提取该模型中学习到的统计依赖的方法，这些依赖以句法结构的形式编码。在无监督解析方面，简单地形成最小生成树优于经典的无监督解析方法。