带你熟悉NLP预训练模型：BERT
💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
本文介绍了BERT预训练模型的原理和应用，通过联合左右上下文预训练深度双向表示模型，可用于广泛任务。BERT的输入经过分词和嵌入层处理，通过Encoder Layer堆叠。输出包括pooler output和sequence output，适用于句子级和词级任务。预训练任务包括MLM和NSP。下游任务中可使用少量标注数据微调BERT。
🎯
关键要点
- BERT预训练模型结合了ELMo和GPT的优势，能够捕捉句子级别和上下文信息。
- BERT通过联合左右上下文，从未标记文本中预训练出深度双向表示模型。
- BERT的输入经过分词和嵌入层处理，包含token ids、position ids和token type ids。
- BERT由Encoder Layer堆叠而成，使用自注意力层和前馈神经网络。
- BERT的输出包括pooler output和sequence output，适用于不同的下游任务。
- BERT的预训练任务包括Masked Language Modelling（MLM）和Next Sentence Prediction（NSP）。
- MLM通过随机遮盖输入句子中的词语来预测被遮盖的词语。
- NSP用于判断两个句子是否存在上下文关系。
- 在下游任务中，BERT可以通过少量标注数据进行微调。
➡️
