本文探讨了生成模型在词汇统计和语义嵌入中的应用，提出了一种基于BERT的无监督词汇语义变化方法，并评估了GPT-3和GPT-4的词汇表示能力，发现GPT-4在编码因果结构方面表现更佳。同时，分析了BERT在多义词和同音词处理上的表现，强调了基于经验的语言学习方法的重要性。