浙大与阿里巴巴达摩院联合开发的多模态知识语料，通过22000小时的教学视频生成高质量教科书，显著提升视觉语言模型（VLMs）的学习和推理能力。研究表明，优质的无监督数据对VLMs性能提升至关重要。

预训练的无监督数据生成的文本和代码向量表示在多个任务中表现优异，在线性探测分类中提升了4%和1.8%。在大规模语义搜索中，MSMARCO、Natural Questions和TriviaQA基准分别提高了23.4%、14.7%和10.6%。代码嵌入模型也实现了20.8%的相对提升。