从购物车到卡车:英语中词义在过去两个世纪的转变
内容提要
本文探讨了词嵌入模型在量化语义变化中的应用,分析了20世纪至21世纪美国对女性和少数民族态度的变化,提出了与频率和多义性相关的语义变化规律,并强调了上下文嵌入在历史语言分析中的重要性。
延伸解读
词嵌入模型如何量化语义变化
文章评估了PPMI、SVD和word2vec等词嵌入模型在量化语义变化中的应用,并提出了两个定量规律:语义变化率与频率呈反幂律相关,且与多义性无关。这些模型通过分析词汇的分布表示,能够捕捉词义随时间的演变,为历时语义研究提供了计算基础。
语义变化反映社会态度变迁
通过词嵌入的时间动态,研究量化了美国20世纪至21世纪对女性和少数民族的刻板印象与态度变化。结合人口普查数据,嵌入的变化与人口和职业转变密切相关,表明语义变化可作为社会文化变迁的量化指标,为机器学习与数量社会科学的交叉提供了新视角。
上下文嵌入在历史语言分析中的进展与挑战
文章综述了使用预测型词嵌入(如BERT)追踪语义变化的研究,包括生成特定时间词表示的方法和HistBERT等模型。这些方法能检测短期语义漂移,但效果取决于输入文本的时态特征,需谨慎应用。此外,古代语言的小型、稀疏语料库增加了建模难度,量化意义变化中的不确定性变得重要。
Q&A
词嵌入模型如何量化语义变化?
词嵌入模型通过评估PPMI、SVD和word2vec等方法,提出与频率和多义性相关的语义变化规律。
文章中提到的DUKweb数据库有什么用途?
DUKweb数据库用于对当代英语进行历时分析,提供每年的词共现矩阵和词向量表示。
如何利用BERT嵌入进行历时语义变化检测?
通过从BERT嵌入生成特定时间的单词表示,利用上下文嵌入进行历时语义变化检测。
文章中提到的EDiSC模型有什么优势?
EDiSC结合了词嵌入和DiSC,提供优越的模型性能,尤其在预测准确性和不确定性量化方面表现出色。
如何追踪俄语中的历时语义转变?
通过手动注释的测试集和分布式词嵌入模型,自动检测具有社会和文化变化的名词和形容词词义。
文章中提到的语义变化的定量化规律是什么?
提出了与频率呈反幂律相关的语义变化率规律和与多义性无关的语义变化率规律。