阿里云PAI与华东师范大学合作在EMNLP2023发表了关于垂直领域预训练语言模型的论文。他们提出了一种通过双曲空间和对比学习来增强上下文语言表示的框架，解决了垂直领域知识稀疏的问题。模型在金融和医疗领域的下游任务上表现良好。