盛名一时的BERT哪去了？这个问题的答案昭示了LLM范式的转变
内容提要
编码器-解码器和仅解码器模型是自回归模型，具有不同的优缺点。去噪目标可作为因果语言模型的补充。双向注意力对较小规模模型有帮助。BERT模型已被弃用，取而代之的是更灵活的去噪T5模型。
延伸解读
BERT 被弃用的真正原因
BERT 类模型逐渐消失，并非因为去噪目标本身失效，而是任务范式发生了统一。过去单任务微调需要为每个任务添加分类头，而编码器-解码器和仅解码器模型无需特定任务头就能处理多种任务。人们希望用一个通用模型完成所有任务，这推动了向自回归模型的转变。因此，BERT 的弃用更多是范式选择的结果，而非技术上的彻底失败。
去噪目标的局限与定位
去噪目标虽然有效，但存在明显短板。由于只有少量被掩蔽的 token 参与损失计算，其损失暴露远低于常规语言建模，导致每个 FLOP 的样本效率较低。此外，去噪任务对输入输出格式的重新设定不够自然，不利于少样本学习。因此，它更适合作为因果语言模型的补充目标，而非独立的主要训练目标。
双向注意力的适用边界
双向注意力是 BERT 的重要归纳偏置，对较小规模模型帮助显著，甚至能让小模型在生产规模任务上媲美更大的因果模型。然而，随着模型规模增大，双向注意力的优势逐渐减弱，对大型模型而言可能可有可无。此外，采用双向注意力的 PrefixLM 架构存在缓存问题，这是其固有缺陷，但并非不可解决。
编码器-解码器的权衡
编码器-解码器架构允许编码器端不受因果掩码限制，便于进行池化或线性注意力等创新，并能将上下文卸载到较小的编码器。但其缺点在于输入和目标必须分配固定预算，例如输入填充到 1024 token 可能浪费计算。相比之下，PrefixLM 可直接连接输入和目标，缓解这一问题。选择架构需权衡下游用例和计算效率。
Q&A
BERT模型为什么逐渐被弃用？
BERT模型逐渐被弃用是因为人们希望使用更通用的模型来执行多种任务，而T5等去噪模型提供了更灵活的解决方案。
去噪目标在语言模型训练中有什么作用？
去噪目标可以作为因果语言模型的补充，帮助模型在预训练阶段构建更好的内部表征。
编码器-解码器模型与仅解码器模型有什么区别？
编码器-解码器模型可以处理更复杂的任务，且不受因果掩码的限制，而仅解码器模型则更简单，适用于特定任务。
双向注意力对模型性能的影响是什么？
双向注意力对较小规模模型有显著帮助，但对较大模型的影响较小，可能不那么重要。
当前LLM研究者需要关注哪些关键点？
LLM研究者需要理解模型架构和预训练的归纳偏置，以便进行创新和优化。
T5模型相比BERT模型有哪些优势？
T5模型更灵活，能够处理多种任务，并且采用了更现代的去噪目标，适应性更强。
