SpacTor-T5: 使用跨度破坏和替换标记检测预训练 T5 模型
内容提要
该文汇总了多项自然语言处理预训练研究：SpanBERT改进BERT的掩蔽与训练方式，在跨度选择、指代消解等任务上表现更优；Longformer以更少算力实现高效预训练；SSPT将预训练转为阅读理解；此外还有面向冒犯语言识别、任务型对话、事实核查的预训练模型，以及SpERT、毒性跨度检测和WMT'22翻译建议系统等成果。
延伸解读
预训练目标与架构的多样化探索
文章汇总的研究显示，预训练模型的发展不局限于单一范式。SpanBERT通过改进掩蔽和训练方式提升跨度任务表现；Longformer利用替换标记检测降低计算需求；SSPT将预训练转为阅读理解；SPACE-3则针对任务型对话设计半监督会话模型。这些工作从不同角度优化预训练，表明针对特定任务或场景调整预训练目标与架构，可能带来更优性能。
下游任务性能的实证提升
多项研究在具体任务上验证了预训练改进的效果。例如，SpanBERT在SQuAD、OntoNotes和TACRED上优于BERT；SpERT在多个数据集上F1-score最高提升2.6%；毒性跨度检测的最佳模型F1达0.6753，较基线提高3%。这些结果说明，针对任务特点设计的预训练或微调方法能带来可衡量的性能增益。
低资源与多语言场景的应对策略
文章提及的研究关注了数据有限和多语言环境。SSPT在数据集有限时表现突出；冒犯语言识别中，多语言预训练模型在SOLID和CCTK上取得新最优；WMT'22翻译建议系统通过合成数据和多阶段预训练补偿监督数据缺乏，在英德和英汉任务中排名靠前。这些策略为低资源场景提供了可行思路。
Q&A
SpanBERT 相比 BERT 有哪些改进？
SpanBERT 扩展了 BERT 的掩蔽方式和训练方式，使其在跨度选择和指代消解等任务中表现更优，并在 SQuAD、OntoNotes 和 TACRED 等基准测试上取得了更好的结果。
Longformer 模型的主要特点是什么？
Longformer 通过 Replaced Token Detection 任务提高训练信号量，使用更少的计算力预训练高效的语言模型，并在长文本摘要任务上取得了很好的性能。
SSPT 预训练方法有什么创新？
SSPT 将预训练模型任务转换为阅读理解，从而提高 BERT 及其他预训练模型的学习能力，在数据集有限的场景下表现尤为出色。
有哪些预训练模型被用于冒犯语言识别？
研究提出了第一个具有编码器-解码器结构的预训练模型用于冒犯语言识别，并在 SOLID 和 CCTK 数据集上训练。预训练的 T5 模型在多个英文基准测试中优于其他基于变压器的模型，多语言预训练模型在多语言场景中实现了新的最优表现。
SPACE-3 模型是做什么的？
SPACE-3 是一种半监督预训练会话模型，可以从大规模对话语料库中学习任务导向对话系统所需的语义向量表达，并在若干下游任务中表现出领先的性能。
有哪些替代 BERT 的 Masked Language Modeling 的预训练目标？
三种替代 BERT 的 Masked Language Modeling 的预训练目标：Random Token Substitution (RTS)、Cluster-based Random Token Substitution (C-RTS) 和 Swapped Language Modeling (SLM)。
SpERT 模型在哪些任务上取得了性能提升？
SpERT 是一种轻量级的基于注意力机制的模型，通过对 BERT 嵌入进行实体识别和过滤，以及基于标记的上下文表示进行关系分类，结合单 BERT 传递的高效负样例抽取方法，在多个数据集上取得了高于先前工作最高达 2.6% F1-score 的性能表现。
在 SemEval-2021 毒性跨度检测任务中，最佳模型的 F1 得分是多少？
最佳模型达到 F1 得分 0.6753，在基线模型上提高了 3%。
WMT'22 翻译建议任务中，提交的系统采用了哪些策略？
该系统基于多种翻译架构的集合，并使用三种策略构建合成数据以补偿监督数据的缺乏，并引入多阶段预训练策略，并在英德和英汉双向任务中排名第二和第三。
