对话搜索中的稀疏检索和上下文蒸馏的统一方法
发表于: 。本文解决了对话搜索中检索和上下文建模的效率问题,提出了一种新颖的蒸馏方法,统一了稀疏检索与上下文建模。实验表明,该方法在内外域检索性能上显著提升,并证明了使用多位教师模型进行蒸馏可以进一步提高性能,展现了优化模型稀疏性的潜力。
本文解决了对话搜索中检索和上下文建模的效率问题,提出了一种新颖的蒸馏方法,统一了稀疏检索与上下文建模。实验表明,该方法在内外域检索性能上显著提升,并证明了使用多位教师模型进行蒸馏可以进一步提高性能,展现了优化模型稀疏性的潜力。