极道
·
词嵌入简单入门教程
💡
原文中文，约6300字，阅读约需15分钟。
📝
内容提要
词嵌入和句子嵌入是将自然语言映射到向量空间的方法，词嵌入捕捉单词的语义关系，句子嵌入考虑句子内单词的顺序和上下文关系。常见的词嵌入模型有Word2Vec、GloVe和FastText，句子嵌入模型有InferSent和Universal Sentence Encoder。Transformer模型能够获取单词和句子的嵌入，并捕捉上下文信息。
🎯
关键要点
- 词嵌入和句子嵌入是自然语言处理中的两种嵌入方法。
- 词嵌入将单个词语映射到向量空间，常见模型有Word2Vec、GloVe和FastText。
- 句子嵌入将整个句子映射到向量空间，考虑单词的顺序和上下文，常见模型有InferSent和Universal Sentence Encoder。
- 词嵌入关注单词级别的语义关系，而句子嵌入关注整个句子的语义信息。
- Word2Vec和GloVe模型为每个单词分配固定的向量表示，无法处理多义词。
- Transformer模型通过上下文学习嵌入，能够捕捉更丰富的语义信息。
- BERT模型使用注意力机制来理解单词在句子中的含义。
- 标记化是将文本分割成标记的过程，特定模型的标记化方式是确定性的。
- 同一个词在不同上下文中的嵌入值可能不同，反映了语境的影响。
- 可以通过求平均值的方法获取拆分词的嵌入。
- 不同上下文下的同一词的嵌入相似性会有所不同，反映了语义的变化。
➡️
