从百草园到三味书屋
·
Skip-gram模型（2）
💡
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
word2vec是一种计算词向量的方法，使用余弦相似度计算词相似性。skip-gram模型使用负采样、高频词抽样和词组处理来提高词向量质量和训练速度。
🎯
关键要点
- word2vec是一种计算词向量的方法，使用余弦相似度计算词相似性。
- skip-gram模型基于单个输入来预测上下文，最大化上下文词的概率。
- 在skip-gram中，计算开销巨大，尤其是在词汇量大的情况下。
- 负采样策略通过随机选择少量负样本来减少计算量，提高训练效率。
- 高频词抽样策略丢弃高频词，以减少信息冗余，提高模型性能。
- 将单词组合成词组处理，以捕捉特定的语义信息。
🏷️
标签
➡️
