交换与预测 - 通过上下文交换预测语义变化跨语料库中的词汇

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

本文提出了一种使用上下文词表示进行无监督词汇语义变化的方法,利用BERT神经语言模型获取单词用法的表示,并用三种度量方式衡量关于时间的变化。研究表明模型表示和检测到的语义转移与人类判断之间呈正相关,期望能激发进一步的研究。

🎯

关键要点

  • 提出了一种使用上下文词表示进行无监督词汇语义变化的方法。
  • 利用BERT神经语言模型获取单词用法的表示。
  • 将单词用法表示聚类到用法类型,并用三种度量方式衡量时间变化。
  • 创造了一个新的评估数据集,表明模型表示与人类判断之间的正相关性。
  • 定性分析表明该方法捕捉了各种同步和历时语言现象。
  • 期望该研究能激发进一步的研究。
➡️

继续阅读