本研究探讨了词语在不同语境中的意义变化，提出了基于预训练语言模型的动态情境词向量，并分析了词嵌入模型的语义投影能力。实验结果表明，模型对噪声和词义转换敏感，强调了层次信息在提升性能中的重要性。

本研究探讨了基于预训练语言模型的动态情境词向量，提出的CBOW训练方法提高了文本嵌入的计算效率，并结合静态与上下文嵌入改善多语言表示。评估结果显示，基于神经网络的词嵌入方法在捕捉语言语义和句法规律方面优于传统方法。