Sekyoro的博客小屋
·
DDNLP:深入NLP
💡
原文中文，约18300字，阅读约需44分钟。
📝
内容提要
本文介绍了自然语言处理中的文本表示方法，包括嵌入、RNN、LSTM、GRU、PACKED SEQUENCE、Bidirectional and Multilayer RNNs、GRN和Transformers。
🎯
关键要点
-
自然语言处理中的文本表示方法包括嵌入、RNN、LSTM、GRU等。
-
分词是将句子中的单词分割成标记的过程，中文分词较为复杂。
-
文本表示可以分为字符级表示和单词级表示，后者使用词汇表和独热编码。
-
词袋模型（BoW）通过统计单词频率来表示文本，但常用词可能掩盖重要信息。
-
TF-IDF是BoW的变体，通过考虑单词在文档中的出现频率来降低常用词的重要性。
-
嵌入方法使用低维密集向量表示单词，反映其语义含义。
-
Word2Vec通过上下文预测单词，CBOW和Skip-Ngram是其主要架构。
-
FastText在Word2Vec基础上，考虑了字符n-gram信息。
-
GloVe利用共现矩阵分解生成词向量，克服了词义消歧问题。
-
语言模型通过无监督方式训练，能够预测文本中缺失的单词。
-
RNN通过序列输入捕获单词顺序，但对长序列的依赖性较差。
-
LSTM和GRU通过门控机制改善了RNN的性能，能够更好地捕捉长距离依赖。
-
PACKED SEQUENCE用于处理可变长度序列，减少内存浪费。
-
双向RNN和多层RNN能够捕捉更复杂的模式和信息。
-
生成式递归网络（GRN）用于生成任务，如文本生成和机器翻译。
-
Transformers是当前流行的模型架构，适用于多种NLP任务。
➡️
