Word2Vec+LSTM+Attention恶意评论识别

N-gram模型用于计算句子概率，捕捉短语结构和上下文关系，但存在局限性。

N-gram模型的几元模型包括一元模型、二元模型和三元模型。

N-gram模型的局限性在于只考虑距离当前词较近的n个词，未考虑词与词之间的内在联系。

Word2Vec通过降维和赋予词语语义信息，解决了传统one-hot编码的问题。

Word2Vec的训练过程包括输入层、隐藏层和输出层，通过权重矩阵向量化表示词。

Word2Vec能够将词向量的维度从几千几万降到几百，增强了词与词之间的关联性。

使用LSTM和自注意力机制可以进一步提升模型性能。

LSTM模型可以通过双层结构和自注意力机制提高准确率。

自注意力机制为每个输入序列中的时间步计算注意力权重，反映其他时间步的重要性。

在LSTM → Attention → LSTM结构中，Attention层提取重要特征，提高了模型的学习效率。