该文汇总了多项自然语言处理预训练研究：SpanBERT改进BERT的掩蔽与训练方式，在跨度选择、指代消解等任务上表现更优；Longformer以更少算力实现高效预训练；SSPT将预训练转为阅读理解；此外还有面向冒犯语言识别、任务型对话、事实核查的预训练模型，以及SpERT、毒性跨度检测和WMT'22翻译建议系统等成果。