【NLP 系列】Bert 词向量的空间分布

💡 原文中文,约5400字,阅读约需13分钟。
📝

内容提要

Bert词向量存在各向异性,高频词分布狭小,低频词训练不足,导致计算相似度存在问题,可以采用cos正则、高斯分布等方法纠正。

🏷️

标签

➡️

继续阅读