神经机器翻译（NMT）模型中的多尺度上下文化（MSC）方法通过学习不同隐藏状态维度上的不同尺度的上下文化信息，并利用注意力模块动态地集成多尺度的上下文化信息，以解决子词标记化在复杂任务中的劣势。实验证明，MSC 在多语言和领域外的场景中明显优于子词和其他基于字节的方法。

我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法。研究结果表明该框架在多种编码上一致。预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示。子词标记化需要用于表示语法，与基于字符的模型不同。从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

该研究提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，结果表明该框架在多种编码上一致，子词标记化需要用于表示语法。

该研究提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法。结果表明，该框架在多种编码上一致，预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，子词标记化需要用于表示语法。