博客园 - JadePeng
·
In-batch negatives Embedding模型介绍与实践 - JadePeng
原文中文，约6200字，阅读约需15分钟。
📝
内容提要
语义索引技术是搜索引擎和推荐系统的核心，旨在快速准确地召回相关文本。通过In-batch Negatives策略，利用负样本提升模型效果。训练使用8000万条数据，最终模型在测试中表现优异，超越未大规模训练的模型。
🎯
关键要点
-
语义索引技术是搜索引擎和推荐系统的核心，旨在快速准确地召回相关文本。
-
In-batch Negatives策略通过在一个Batch内同时基于多个负例进行梯度更新，提升模型效果。
-
训练使用8000万条数据，采用rocketqa-zh-mini-query-encoder作为基础模型，训练256维的embedding模型。
-
模型评估使用Recall@1、Recall@5等指标，结果显示经过大规模训练的模型效果优于未大规模训练的模型。
-
总结认为，In-batch Negatives策略能充分利用现有数据，减少负样本准备的投入，同时提升模型的区分能力。
❓
延伸问答
In-batch Negatives策略的核心是什么？
In-batch Negatives策略的核心是在一个Batch内同时基于多个负例进行梯度更新。
使用In-batch Negatives策略的优势有哪些？
该策略能充分利用现有数据，减少负样本准备的投入，同时提升模型的区分能力。
训练模型时使用了多少数据？
训练使用了8000万条数据。
模型评估使用了哪些指标？
模型评估使用Recall@1、Recall@5等指标。
In-batch Negatives策略如何影响模型效果？
经过大规模训练的模型效果优于未大规模训练的模型，提升了模型的召回能力。
训练过程中使用了哪个基础模型？
训练使用了rocketqa-zh-mini-query-encoder作为基础模型。
🏷️
