词汇语义变化的上下文化词嵌入系统比较
内容提要
该文综述上下文词嵌入研究，指出其无法建模语义动态性，介绍义项嵌入与上下文化嵌入等方法，提出WiC等评估数据集，并用于SemEval语义变化检测。研究还分析输出错误与语境词交互偏差，提出在线学习算法及XL-WiC多语言基准，并应用于词义消歧与未知名称发现。
延伸解读
语义动态性建模的挑战
文章指出，传统词嵌入无法建模词语语义的动态性，即词语含义随时间和语境变化的能力。为此，研究者提出了义项嵌入和上下文化嵌入等方法，但这些方法仍面临评估基准缺乏的不足。WiC数据集的提出填补了这一空白，为动态语义评估提供了大规模上下文感知资源。
语义变化检测的算法与评估
在SemEval-2020任务1中，研究比较了BERT和ELMo两种上下文化架构及三种变化检测算法。发现最有效的算法依赖于平均令牌嵌入的余弦相似度和令牌嵌入的成对距离，且算法选择受测试集金标准分数分布影响。这提示实际应用中需根据数据分布调整算法。
输出错误与语境交互偏差
基于上下文嵌入的语义变化检测可能混淆词汇的词典含义变化与上下文语境变化，并将句法和语义方面合并。此外，现有数据集在测试预训练模型时存在极端偏差，与人类判断不同。文章提出框架以理解和控制这些偏差，对模型解释和未来任务设计有重要意义。
在线学习与多语言基准
研究提出在线算法，通过最小化上下文嵌入组内距离学习单词嵌入各维度的本质，在Flair、ELMo和BERT上验证，性能提升达3%。XL-WiC多语言基准则评估跨语言模型，即使仅用英语训练也能在跨语言学习中表现良好。这些工作推动了词义消歧和未知名称发现。
Q&A
词嵌入为什么无法建模词语语义的动态性？
词嵌入为每个词分配一个静态向量，无法捕捉词语在不同上下文中的语义变化，因此无法建模语义动态性。
有哪些方法可以解决词嵌入无法建模语义动态性的问题？
主要方法包括义项嵌入（sense embeddings）和上下文化嵌入（contextualized embeddings）。
WiC数据集是什么？它有什么作用？
WiC是一个通过专家注释构建的大规模上下文感知语义数据集，旨在评估动态语义，弥补缺乏合适基准的不足。
在SemEval-2020词汇语义变化检测任务中，哪种算法表现最有效？
最有效的算法依赖于平均令牌嵌入之间的余弦相似度和令牌嵌入之间的成对距离，其性能显著优于强基线模型。
使用上下文嵌入检测历时语义变化可能存在哪些问题？
可能将词汇的词典含义变化与上下文语境的变化混淆，同时将词汇实体的句法和语义方面合并在一起。
XL-WiC是什么？它有什么特点？
XL-WiC是一个多语言的词义消歧基准测试库，用于评估不同语言背景和资源可用性的模型，即使模型仅在英语数据上训练，也能在跨语言学习中达到良好性能。
