本文讨论了在电子商务搜索中微调稀疏嵌入的方法，重点介绍了使用亚马逊ESCI数据集训练SPLADE模型的过程。强调了数据格式化的重要性，以及通过SpladeLoss实现对比学习与稀疏性正则化的平衡。此外，使用Modal的持久存储解决了检查点管理问题，确保了训练过程的稳定性。

本文介绍使用Modal无服务器GPU训练SPLADE稀疏嵌入模型。基于亚马逊ESCI数据集，将Exact和Substitute对作为正样本，通过SpladeLoss结合对比学习与稀疏正则化，控制查询约30词、文档100-400词。产品文本以品牌括号和竖线分隔格式化。10万样本在A100上训练约6分钟、成本不足1美元，检查点存入持久卷，支持断连续跑和并行超参搜索。

稀疏嵌入比稠密嵌入更适合电商搜索，能精确匹配型号、容量等关键细节。SPLADE利用Transformer结合对数饱和与最大池化，生成约3万维中仅数百非零的稀疏向量，实现词项加权、同义词扩展和噪声抑制，无需人工规则。在亚马逊ESCI数据集上，微调后nDCG@10达0.389，较BM25提升17%。教程涵盖Modal GPU训练、Qdrant评估、难负样本挖掘及产品化。

本文是电商搜索稀疏嵌入微调系列的第三部分，聚焦评估与难负样本挖掘。将微调后的SPLADE模型索引至Qdrant，在2000条查询上评测：微调模型nDCG@10比BM25高约17%，比现成SPLADE高7.5%。借鉴ANCE，用当前模型检索结果挖掘难负样本再训练，可进一步提升效果。检索延迟低于1毫秒，瓶颈是10-20毫秒的查询编码。

本文研究稀疏嵌入模型的专精与泛化权衡。在Amazon ESCI上微调的SPLADE模型，域内比BM25提升17%，跨电商域提升8-10%，但在MS MARCO通用网页搜索上下降18%，出现灾难性遗忘。多域训练（ESCI、WANDS、Home Depot各5万对）可缓解：ESCI降4%，其他域升3-7%，MS MARCO恢复10%。建议单一零售商用领域微调，多零售商平台用多域训练，冷启动用现成SPLADE。

该系列前四部分从零构建了SPLADE稀疏嵌入微调流程，在Amazon ESCI数据集上比BM25提升17%。第五部分将其打包为开源工具qdrant-sparse-finetune，提供CLI和网页仪表盘，一条命令即可完成合成查询生成、训练、评估与HuggingFace发布，并支持Python API调用。

How to Generate Sparse Vectors with SPLADE SPLADE is a novel method for learning sparse text representation vectors, outperforming BM25 in tasks like information retrieval and document...