本研究解决了语言类型学中对词类语义功能的量化问题，提出了一种利用感知模态的数据进行分析的新方法。研究发现，功能类和词汇类在内容丰富度上存在不对称性，并揭示了不同词类的基本语义层次，提供了关于语言中语义功能的量化证据。

本文提出了一种基于句法结构的局部语义注意力机制，结合BERT等预训练模型，提升了句法相关词的关注度。研究表明，BERT的注意力机制与语法和指代密切相关，并在不同任务中表现出遗忘、强化或保留的特征。通过多语言BERT的实验，发现注意力模式有效代表语言结构，新模型在关系分类和问答任务中表现优异。