预训练的无监督数据生成的文本和代码向量表示在多个任务中表现优异，在线性探测分类中提升了4%和1.8%。在大规模语义搜索中，MSMARCO、Natural Questions和TriviaQA基准分别提高了23.4%、14.7%和10.6%。代码嵌入模型也实现了20.8%的相对提升。