稀疏嵌入比稠密嵌入更适合电商搜索,能精确匹配型号、容量等关键细节。SPLADE利用Transformer结合对数饱和与最大池化,生成约3万维中仅数百非零的稀疏向量,实现词项加权、同义词扩展和噪声抑制,无需人工规则。在亚马逊ESCI数据集上,微调后nDCG@10达0.389,较BM25提升17%。教程涵盖Modal GPU训练、Qdrant评估、难负样本挖掘及产品化。
本文是电商搜索稀疏嵌入微调系列的第三部分,聚焦评估与难负样本挖掘。将微调后的SPLADE模型索引至Qdrant,在2000条查询上评测:微调模型nDCG@10比BM25高约17%,比现成SPLADE高7.5%。借鉴ANCE,用当前模型检索结果挖掘难负样本再训练,可进一步提升效果。检索延迟低于1毫秒,瓶颈是10-20毫秒的查询编码。
完成下面两步后,将自动完成登录并继续当前操作。