朝着竞争性搜索相关性的无推理学习稀疏检索器

该研究探讨了双编码器的检索能力，并与稀疏词袋模型和注意力神经网络进行了比较。

研究发现固定长度编码的能力存在限制，具体表现为编码维数、金标和排名较低文件之间的边际，以及文档长度。

提出了一种结合双编码器高效性和注意力结构表达能力的简单神经模型，以提高检索精度。

介绍了一种无监督训练的密集感知器，使用对比学习方法提升信息检索性能，表现出强大的跨语言转移能力。

研究基于稀疏表达的SPLADE检索器的训练提升方法，结合蒸馏、硬负例挖掘和预训练语言模型初始化，证明其在效率和效果方面的优势。

使用稀疏语言模型替代矢量检索系统，提高推理效率，实验结果显示精确度几乎没有下降，推理速度提高了4.3倍。

提出了一种基于对中间训练模型的关联系统估计和自适应加权的相关性感知对比度学习方法，提升无监督稠密Retriever模型的检索效果。

SPRINT是一个基于Pyserini和Lucene的统一Python工具包，支持评估神经稀疏检索，SPLADEv2在所有神经稀疏检索器中取得了最佳的平均nDCG@10分数。

通过引入稀疏技术，Sparse RAG提出了一种新颖的范式，提升生成质量的同时减少计算成本。

研究解决了学习稀疏检索在传统关键词检索与基于嵌入的稠密检索之间的性能差异，提出使用仅解码器模型进行语义关键词扩展学习，显著提升检索性能。