编码器-解码器和仅解码器模型是自回归模型，具有不同的优缺点。去噪目标可作为因果语言模型的补充。双向注意力对较小规模模型有帮助。BERT模型已被弃用，取而代之的是更灵活的去噪T5模型。