该文综述多项研究：上下文词表示在细粒度任务上仍不足；TF-IDF与上下文嵌入结合可提升36%；提示微调仅用35%-40%数据即达可比效果；CoAT优化提升上下文学习；FoT技术扩展长文本处理能力。

本文提出了一种使用上下文词表示进行无监督词汇语义变化的方法，利用BERT神经语言模型获取单词用法的表示，并用三种度量方式衡量关于时间的变化。研究表明模型表示和检测到的语义转移与人类判断之间呈正相关，期望能激发进一步的研究。