微调稀疏嵌入用于电商搜索 | 第4部分：专精与泛化
内容提要
本文研究稀疏嵌入模型的专精与泛化权衡。在Amazon ESCI上微调的SPLADE模型，域内比BM25提升17%，跨电商域提升8-10%，但在MS MARCO通用网页搜索上下降18%，出现灾难性遗忘。多域训练（ESCI、WANDS、Home Depot各5万对）可缓解：ESCI降4%，其他域升3-7%，MS MARCO恢复10%。建议单一零售商用领域微调，多零售商平台用多域训练，冷启动用现成SPLADE。
延伸解读
专精与泛化的权衡本质
微调让模型在域内表现提升，但会牺牲泛化能力。在Amazon ESCI上微调的SPLADE模型，域内比BM25提升17%，跨电商域提升8-10%，但在MS MARCO通用网页搜索上下降18%，出现灾难性遗忘。这是因为微调使模型过度适应电商查询模式、词汇和相关性信号，导致通用语言理解能力被覆盖。
多域训练如何缓解遗忘
多域训练通过混合多个电商数据集（ESCI、WANDS、Home Depot各5万对）来平衡专精与泛化。结果显示，ESCI性能仅下降4%，而WANDS和Home Depot分别提升3.1%和6.8%，MS MARCO恢复10.4%。这表明多域训练能保留更多通用语言理解，同时维持合理的域内性能。
实际应用中的选择建议
根据业务场景选择策略：单一零售商且有充足数据时，领域微调能最大化性能；多零售商平台或市场，多域训练提供更好的跨目录一致性；冷启动或数据有限时，现成的SPLADE模型是强基线，无需微调即可超越BM25。混合电商与通用搜索时，多域训练能保留通用IR能力。
Q&A
在Amazon ESCI上微调的SPLADE模型，跨域泛化表现如何？
在Amazon ESCI上微调的SPLADE模型，域内（ESCI）比BM25提升17%，跨电商域（WANDS和Home Depot）提升8-10%，但在通用网页搜索MS MARCO上下降18%，出现灾难性遗忘。
为什么微调后的模型在MS MARCO上性能会大幅下降？
因为模型过拟合了电商模式，例如将“Apple”视为品牌而非水果，“Prime”视为配送速度而非数学概念，导致原始DistilBERT的通用信息检索能力在微调过程中被覆盖，造成灾难性遗忘。
多域训练如何缓解灾难性遗忘？效果如何？
多域训练使用ESCI、WANDS和Home Depot各5万对数据（共15万对）进行训练。效果：ESCI下降4%，WANDS和Home Depot提升3-7%，MS MARCO恢复10%，表明多域训练能平衡域内性能和跨域泛化。
在什么情况下应该选择领域特定微调，而不是多域训练？
当你是单一零售商且拥有大量训练数据（如点击日志）时，领域特定微调能最大化你目录上的性能，在其他域上损失3-9%无关紧要。
对于多零售商平台或冷启动场景，推荐使用哪种方法？
多零售商平台推荐多域训练，以在多个目录间获得更好的泛化性和一致性；冷启动（新领域无训练数据）推荐使用现成的SPLADE模型（如naver/splade-v3），它无需微调就能在多数电商数据集上超越BM25。
微调SPLADE模型有哪些主要优势？
优势包括：注入领域知识（如识别特定产品、术语），利用专有数据（点击日志、购买信号），模型可移植（可在任意基础设施部署），以及性能提升（在评估中比BM25高17% nDCG@10）。
