蝈蝈俊
·
词向量是如何来的？ - 蝈蝈俊
💡
原文中文，约3000字，阅读约需8分钟。
📝
内容提要
词向量是将词语转换成计算机能理解的数值形式的方法，能够根据词与词之间的共现关系学习得到每个词的向量表示。深度学习框架下的语言模型能够学习到上下文相关的词向量，这些向量不仅反映了词语的固有意义，还包含了特定上下文中的语义信息。词向量的应用场景包括文本分类、信息检索、机器翻译、聊天机器人、语义分析和文本生成。OpenAI推荐的获取词向量接口会返回1536维的向量。
🎯
关键要点
- 词向量是将词语转换成计算机能理解的数值形式的方法。
- 词向量能够捕捉词语之间的含义和语义关系。
- 最早的词向量通过统计方法得出，如词袋模型（BoW），但忽略了词序和语法结构。
- BoW模型的缺点包括语境信息缺失、高维稀疏和频率不代表重要性。
- 分布式表示和词嵌入技术（如Word2Vec、GloVe）能够根据词与词之间的共现关系生成词向量。
- 词嵌入通过上下文环境定义词的意义，并使用算法训练生成向量。
- 深度学习框架下的语言模型（如BERT、GPT）能够学习上下文化的词向量，反映词在不同句子中的不同含义。
- 上下文化词向量是动态变化的，能够捕捉词在特定上下文中的语义信息。
- 词向量的应用场景包括文本分类、信息检索、机器翻译、聊天机器人、语义分析和文本生成。
- OpenAI推荐的获取词向量接口返回1536维的向量，捕捉单词或短语的语义。
- 词向量可以被视为一种虚拟的“词汇DNA”，包含词的语言特征和关系。
➡️
