NextLevelBERT：探索使用高级表示进行长文档的遮蔽语言建模
内容提要
该文综述了掩码采样、分层BERT、NarrowBERT、SMITH编码器及SimpleBERT等多种长文本自然语言处理方法，用于分类、匹配与简化任务，并比较了BERT与mBERT的差异，提出改进解码器和上下文感知翻译机制以提升性能与效率。
延伸解读
长文档建模的多种技术路线
文章综述了多种处理长文档的NLP方法，包括掩码采样过程（MSP）、分层BERT、NarrowBERT、SMITH编码器和SimpleBERT等。这些方法分别针对医疗诊断预测、长文本分类、文本简化、长文档匹配等任务，通过改进预训练目标、模型结构或训练策略来提升性能与效率。读者可以从中了解不同技术路线的适用场景和优势。
效率与性能的权衡
NarrowBERT通过仅对掩码令牌进行自注意力计算，将推理吞吐量提升高达3.5倍，而性能下降最小；SMITH将最大输入长度从512扩展到2048，并在多个基准数据集上超越现有模型；DrBERT通过改进解码器设计，在不增加推理时间的情况下提升性能。这些工作表明，在长文档处理中，效率与性能可以兼得，但需要针对具体任务选择合适的方法。
预训练与微调策略的演进
文章提到多种预训练和微调策略，如SimpleBERT通过新的掩码语言建模机制和小规模数据集的持续预训练，在文本简化任务上超越BERT；分层传递学习结合LSTMs或CNNs进行长文本分类；以及针对跨模态预训练的替代遮蔽策略。这些策略展示了如何利用有限数据或特定任务需求来优化模型，为读者提供了实践参考。
Q&A
NarrowBERT 是如何提高掩码语言模型预训练效率的？
NarrowBERT 通过修改 Transformer 编码器，使自注意力查询和前向层仅在预训练期间的屏蔽令牌上操作，从而增加了掩码语言模型预训练的吞吐量。在推理时间，其吞吐量比标准 BERT 提高多达 3.5 倍，性能降低最小或没有，在 IMDB、亚马逊评论分类和 CoNLL NER 任务上表现与标准 BERT 相当。
SMITH 编码器主要用于解决什么任务？它有哪些创新？
SMITH 编码器是一种 Siamese Multi-depth Transformer-based Hierarchical 编码器，用于解决长文档匹配的语义匹配问题。其创新包括使用速度更快的遮盖句块语言建模任务来更好地捕捉文档内的语义关系，并将最大输入文本长度从 512 扩展到 2048。实验表明 SMITH 在多个基准数据集上优于现有最先进的模型。
SimpleBERT 在文本简化任务中有什么优势？
SimpleBERT 是一种基于预训练模型的文本简化方法，通过新的掩码语言建模机制和小规模文本数据集的持续预训练获得。它在词汇简化和句子简化任务中均超过了 BERT，并在多个数据集上取得了最先进的结果。此外，SimpleBERT 可以无需修改地替换现有的简化模型。
基于掩码采样过程（MSP）的方法在医疗诊断预测中有什么特点？
基于掩码采样过程（MSP）的方法用于解决长文本医疗领域的诊断预测问题。它可以识别出较多的临床信息文本块，并且比之前最先进的方法运行速度更快，可用于任何文本分类器。
DrBERT 是什么？它如何提升模型性能？
DrBERT 是经过解码器优化的 BERT，作为一种新方法进行模型训练。它通过微调对原始 BERT 模型的解码器进行改进，有效提高了模型性能而不增加推理时间和资源使用。
在神经机器翻译中，上下文感知框架如何减少误差传播？
上下文感知框架提出了一种简单的基于长短时记忆的自注意力机制，用于捕捉长距离依赖并减少误差传播。该机制在标准 Transformer 自回归属性基础上，同时利用一致性和误差积累的优势与劣势，在两个公开数据集上验证可以获得较高 BLEU 得分并捕捉语篇现象。
