演讲：构建大规模现实应用的嵌入模型

嵌入模型通过将输入转换为向量，实现相似性检索和个性化推荐。

对比学习用于训练嵌入模型，使相似输入的嵌入接近，不同输入的嵌入远离。

嵌入模型广泛应用于搜索引擎和推荐系统。

嵌入模型生成数字指纹，表示输入的独特含义。

相似输入的嵌入在嵌入空间中更接近，不同输入的嵌入则更远。

嵌入模型的常见应用包括文档检索、个性化推荐和RAG应用。

嵌入模型的架构包括分词器、嵌入投影、变换器和池化器。

对比学习是训练嵌入模型的常用技术，使用正负样本对进行训练。

模型蒸馏是将大型模型转化为小型模型的过程，常用评分蒸馏和嵌入蒸馏。

评估嵌入模型时，通常需要准备查询集和候选集，并计算相似度。

在缺乏标准标签的情况下，可以使用自动评分模型进行评估。

在生产中，嵌入模型的实时查询和离线文档索引是两个重要方面。

动态批处理和量化模型权重可以提高查询的响应速度。

选择现成的嵌入模型时，需要考虑用途、语言、训练数据和模型大小等因素。

嵌入模型在搜索和RAG应用中发挥重要作用，评估和蒸馏是关键步骤。