本研究提出了一种基于波网络的Token2Wave令牌表示方法，克服了传统文本表示的局限，能够更好地捕捉文本的全局和局部语义，同时减少视频内存和训练时间。

本文提出了一种基于句法结构的局部语义注意力机制，结合BERT等预训练模型，提升了句法相关词的关注度。研究表明，BERT的注意力机制与语法和指代密切相关，并在不同任务中表现出遗忘、强化或保留的特征。通过多语言BERT的实验，发现注意力模式有效代表语言结构，新模型在关系分类和问答任务中表现优异。