从百草园到三味书屋
·
Skip-gram模型（2）
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
word2vec是一种计算词向量的方法，使用余弦相似度计算词相似性。skip-gram模型使用负采样、高频词抽样和词组处理来提高词向量质量和训练速度。
🎯
关键要点
-
word2vec是一种计算词向量的方法，使用余弦相似度计算词相似性。
-
skip-gram模型基于单个输入来预测上下文，最大化上下文词的概率。
-
在skip-gram中，计算开销巨大，尤其是在词汇量大的情况下。
-
负采样策略通过随机选择少量负样本来减少计算量，提高训练效率。
-
高频词抽样策略丢弃高频词，以减少信息冗余，提高模型性能。
-
将单词组合成词组处理，以捕捉特定的语义信息。
🏷️
