本文介绍了一种利用类平衡数据集和多任务预训练的多语言模型，以获得更一般化的表示。作者采用多种方法提高模型的泛化能力和鲁棒性，并使用多粒度语义单元增强模型的表示能力。该方法在三个任务中排名前八。