本文介绍了NarrowBERT，一种修改的transformer编码器，通过仅在屏蔽令牌上操作来增加掩码语言模型预训练的吞吐量。NarrowBERT在推理时间的吞吐量提高了3.5倍，性能降低最小，并且在多个任务上与标准BERT相当。

本文介绍了一种修改的transformer编码器--NarrowBERT，通过在预训练期间仅在屏蔽令牌上操作，增加了掩码语言模型预训练的吞吐量。NarrowBERT在推理时间的吞吐量提高了3.5倍，性能降低最小，并且在多个任务上与标准BERT相当。