二手知识
·
自然语言的可计算性：从 N-gram 到 BERT
💡
原文中文，约14800字，阅读约需36分钟。
📝
内容提要
本文介绍了自然语言处理中的语言模型技术体系的演进过程，包括古典时代、嵌入时代和深度学习时代。古典时代主要依赖统计和计数方法，嵌入时代引入了词向量来捕捉语义和句法信息，深度学习时代使用了RNN、LSTM和Transformer等模型来处理长距离上下文。N-gram模型解决了简单性、本地上下文捕捉和模型可解释性等问题，但存在稀疏性、固定窗口大小、缺乏语义理解和计算存储需求等问题。Word2Vec、GloVe、ELMo和BERT等模型解决了这些问题，并取得了显著的效果提升。BERT是一个双向语言模型，通过MLM和NSP任务进行预训练，并在下游任务中进行微调。这些模型的发展推动了自然语言处理的进一步发展。
🎯
关键要点
- 语言模型技术体系的演进分为古典时代、嵌入时代和深度学习时代。
- 古典时代主要依赖统计和计数方法，N-gram模型因数据稀疏性问题受到限制。
- 嵌入时代引入了词向量技术，如Word2Vec和GloVe，能够捕捉语义和句法信息。
- 深度学习时代使用RNN、LSTM和Transformer等模型，能够处理长距离上下文。
- N-gram模型解决了简单性和本地上下文捕捉的问题，但存在稀疏性和缺乏语义理解等缺陷。
- Word2Vec通过CBOW和Skip-gram模型提高了单词嵌入的训练速度和效率。
- ELMo使用双向LSTM解决了一词多义问题，提供上下文敏感的单词嵌入。
- GPT采用Transformer架构，通过生成式预训练和微调来处理下游任务。
- BERT是双向语言模型，通过MLM和NSP任务进行预训练，能够更好地理解句子间关系。
- 自然语言处理技术的演进推动了模型的复杂性和性能的提升。
➡️
