通过无监督学习提升语言理解能力

我们在多语言任务上取得了先进成果，采用可扩展的无任务系统，结合变换器与无监督预训练，证明了监督学习与无监督预训练的有效结合，旨在激励更多研究。