本文研究了使用英语Wiktionary作为替代监督源来注入词汇，并测试了降维对生成的上下文词嵌入的影响。在无监督设置下取得了新的SoTA结果，并提出了两个新的WiC测试集来展示微调方法的改进。观察到语义框架归纳任务的改进。方法适用于具有大型Wiktionary的多种语言。