研究者提出了一种利用视觉表征学习和无监督学习的框架进行文本语义学习的方法。该方法通过文本扰动实现对文本的连续感知，并通过大规模无监督主题对齐训练和自然语言推理监督来提高语义文本相似度性能。研究还展示了方法的跨语言迁移能力和语言迭代训练中的独特突破模式。

本文介绍了一种新的数据增广技术，利用语言模型生成逼真的文本样本，并利用软标签蒸馏知识，同时创建文本扰动。实验证明该方法在分类任务上的数据增广效果优于现有方法。