利用对比学习提高基于令牌的上下文表示的效果：注入维基词典
内容提要
本文综述词嵌入与上下文表示研究进展，涵盖对比学习优化概念嵌入、无监督词汇替换、上下文嵌入维度解释、动态语义数据集WiC、知识蒸馏文本嵌入、动态词向量、词汇简化、跨语言词义消歧及XL-WiC基准，表明上下文方法显著优于传统静态嵌入。
延伸解读
对比学习如何提升概念嵌入
文章指出，通过对比学习策略改进概念嵌入的语义表示，使用上下文向量替代传统平均表示，能优化语义属性预测。其中，结合ConceptNet的方法效果最佳。这提示读者，对比学习与外部知识库结合可能是提升概念表示的有效途径。
无监督词汇替换的跨语言优势
文章介绍了一种基于预训练语言模型的无监督词汇替换方法，通过平均上下文表示相似性检索替代词。实验表明，该方法在英语和意大利语上优于强基线，且能预测低频替代词，不受形态和句法一致性影响。这为低资源语言的词汇替换提供了新思路。
上下文嵌入的可解释性探索
文章提到一种在线算法，通过最小化上下文嵌入组内距离来学习每个维度的本质。使用Flair、ELMo和BERT生成嵌入，并由SemCor标注分组。结论表明该算法不损伤性能，甚至提升3%，可用于未来上下文嵌入可解释性研究。
动态语义评估的基准需求
文章阐述了词嵌入无法建模语义动态性的限制，介绍了sense embeddings和contextualized embeddings等解决方法，并指出缺乏适合评估动态语义的基准。为此，通过专家注释提出了大规模上下文感知语义数据集WiC，为动态语义评估提供了重要资源。
Q&A
对比学习如何改进概念嵌入的语义表示？
通过对比学习策略，使用全新的上下文向量代替传统平均表示方法，优化概念嵌入中的语义属性，使其在预测语义属性上显著优于传统方法，尤其是使用ConceptNet的方法效果最佳。
无监督词汇替换的新方法是什么？
采用预训练语言模型，根据单词在多个上下文中的平均上下文表示相似性来检索替代词，在英语和意大利语上表现优于强基线，能预测低频替代词且不受形态和句法词汇一致性影响。
上下文嵌入的维度本质如何解释？
通过在线算法最小化上下文嵌入组内距离来学习每个维度的本质，使用Flair、ELMo和BERT生成上下文嵌入，由SemCor数据集标注的意义分组，算法不损伤性能甚至提高3%，有助于可解释性研究。
WiC数据集是什么？为什么需要它？
WiC是一个大规模上下文感知语义数据集，通过专家注释构建，用于评估动态语义，因为词嵌入无法建模词语语义动态性，且缺乏适合评估动态语义的基准。
知识蒸馏如何提高文本嵌入的计算效率？
使用基于CBOW的训练方法进行文本嵌入的知识蒸馏，有效提高NLP应用的计算效率，优于从头训练的静态嵌入和以前的方法，并能公平比较上下文和静态嵌入。
跨语言零样本词义消歧有哪些改进？
提倡使用大型预训练单语语言模型结合上下文映射机制，通过字典学习获得稀疏上下文化词表示，平均F分数增加近6.5个百分点（从62.0到68.5），涵盖17种语言。
XL-WiC基准测试库的作用是什么？
XL-WiC是一个多语言词义消歧基准测试库，用于评估不同语言背景和资源可用性的模型，即使模型仅在英语数据上训练，仍能在跨语言学习中达到良好性能。
