本研究解决了语言类型学中对词类语义功能的量化问题，提出了一种利用感知模态的数据进行分析的新方法。研究发现，功能类和词汇类在内容丰富度上存在不对称性，并揭示了不同词类的基本语义层次，提供了关于语言中语义功能的量化证据。

本研究分析了神经机器翻译模型在不同粒度上学习到的表示，并通过外围特性评估其质量。结果显示深层次的NMT模型学习了大量语言信息，包括词组结构和词类等语言单元。词汇语义和非局部的句法和语义依存在较高层次上表示更好。使用字符学习的表示比使用子词单位学习的更具有词形信息。多语言模型学习的表示比双语模型更丰富。

本文通过对BERT和RoBERTa中的attention heads进行定量和定性分析，发现一些头比基线更好地诱导了一些语法类型，且一些头充当了成分结构语法的代理。Fine-tuning任务后attention heads的诱导能力如何改变，结果表明句子意思相似性任务减少了上层的平均CGI能力，而自然语言推理任务增加了其能力。探讨了CGI能力与QQP和MNLI任务的自然语言理解能力之间的联系。