本研究综合研究了从预训练模型开始使用半监督学习方法，探讨了在不同条件下的表现。结果显示，半监督学习技术对从预训练模型开始训练的模型的提升效果较使用随机初始化的模型来的小。然而，当预训练模型的源数据域与目标任务的数据域存在明显差异时，SSL方法的提升效果明显提高。