DrBERT: BERT 预训练中揭示掩码语言模型解码器的潜力
内容提要
该文综述BERT系列预训练语言模型的改进：DeBERTa通过解缩融合与增强掩码解码器提升性能，在SuperGLUE上超越人类；NarrowBERT仅对掩码令牌计算注意力，提速3.5倍；DecBERT引入因果注意力；MacBERT改进中文整词掩码；此外还涉及适配器微调、编码器-解码器框架及语法纠错等应用。
延伸解读
掩码解码器改进的多样路径
文章梳理了多种改进BERT掩码语言模型解码器的思路：DeBERTa通过解缩融合和增强掩码解码器提升性能；NarrowBERT仅对掩码令牌计算注意力以加速预训练；DecBERT引入因果注意力改进位置编码；MacBERT则针对中文采用整词掩码策略。这些工作从不同角度挖掘了掩码解码器的潜力，为后续研究提供了参考。
效率与性能的权衡
NarrowBERT通过限制自注意力查询和前向层仅作用于掩码令牌，将预训练吞吐量提升，并在推理时获得高达3.5倍的吞吐量提升，而性能下降最小。这表明在资源受限场景下，针对掩码令牌的稀疏计算是一种有效的加速手段，但需注意其在不同任务上的泛化表现。
从理解到生成的扩展
文章还涉及将BERT应用于生成任务：通过适配器微调连接编码器与解码器，或采用编码器-解码器框架进行文本摘要，以及在语法错误纠正中利用微调后的掩码语言模型输出作为额外特征。这些尝试显示了掩码语言模型在生成任务中的潜力，但需针对具体任务设计微调策略。
Q&A
DeBERTa 模型在 BERT 基础上做了哪些改进？
DeBERTa 采用解缩融合模块和增强的掩膜解码器，改进了 BERT 和 RoBERTa，在预训练和下游任务中提高了效率和性能，并在 SuperGLUE 基准上超过了人类得分。
NarrowBERT 如何提升掩码语言模型预训练的吞吐量？
NarrowBERT 通过使自注意力查询和前向层仅在预训练期间的屏蔽令牌上操作，从而增加了掩码语言模型预训练的吞吐量，在推理时间吞吐量提高多达 3.5 倍，性能降低最小。
DecBERT 在 BERT 中引入了什么机制？
DecBERT 通过引入因果注意力机制用于 BERT 模型的位置编码，证明其在自然语言处理任务中比传统方法更有效，并在 GLUE 基准测试中取得良好表现。
MacBERT 针对中文预训练做了哪些优化？
MacBERT 采用中文整词 Masking 策略，是一系列简单有效的中文预训练语言模型之一，提高了 RoBERTa 的性能，在十个中文 NLP 任务中达到最先进性能。
如何将 BERT 应用于语法错误纠正任务？
一种方法是在语法错误纠正语料库上微调掩码语言模型，并利用微调后的掩码语言模型的输出作为语法错误纠正模型的额外特征，在 BEA-2019 和 CoNLL-2014 基准测试中获得了最佳性能。
适配器微调在 BERT 中有什么作用？
通过加入轻量级适配器模块在 BERT 编码器和解码器之间进行微调，可以应对语言生成任务，并在神经机器翻译任务上验证了有效性。
