RAG框架的检索机制分为稀疏检索和密集检索。稀疏检索依赖关键词匹配，速度快但缺乏语义理解；密集检索通过高维向量捕捉语义，准确性高但计算复杂。混合检索结合两者优点，提高了效率和准确性，是信息检索的重要进展。

本研究提出了一种新方法LLM-QL，旨在解决密集检索中的全球信息建模不足问题。研究结果显示，LLM-QL在密集检索任务中显著优于其他模型，展现出重要潜力。

本研究提出了一种新方法LLM-QE，利用大型语言模型进行查询扩展，以提升密集检索模型的性能。实验结果表明，LLM-QE在Contriever模型上性能提升超过8%，并通过答案奖励模型生成更相关的信息，训练效果提升超过5%。

本研究提出在密集检索模型中整合单一专家混合块（SB-MoE），以提升模型的泛化能力和鲁棒性。实证结果表明，SB-MoE在低参数模型中优于传统微调方法，显著改善了检索效果。

本文提出了一种新方法ReDE-RF，旨在解决缺乏监督的密集检索问题。通过使用LLM选择文档，显著提升了检索效率并降低了延迟。实验结果表明，该方法在低资源数据集上优于现有技术。

介绍了一种新的多语言嵌入模型M3-Embedding，支持多功能和不同粒度的输入。该模型在多语言和跨语言检索任务上表现出色，同时支持密集检索、多向量检索和稀疏检索。通过自知识蒸馏方法和优化批处理策略，提高了训练质量和嵌入的区分性。该模型是第一个实现如此通用性的嵌入模型。

密集检索是获取相关背景或世界知识的方法，基于命题的检索在密集检索中优于传统方法，并改进下游问答任务的性能。研究探讨了短语检索作为粗粒度检索的基础，提出了短语过滤和矢量量化等方法。使用密集向量表示实现开放领域问答，超越传统方法。改进的答案跨度评分技术提高了问题答案准确性。研究解决了在密集检索模型中表现不佳的问题，并提出了两种解决方案。介绍了基于预训练语言模型的密集检索的研究进展，提出了一种新的学习框架用于长文检索。改进的密集检索方法在任务特定、异构且严格的检索中有所改进，提出了一种统一的信息检索框架。通过桥接训练提高密集短语检索的性能，利用密集检索模型直接选择适当响应的解决方案。

该文介绍了一种改进的密集检索方法，用于大型语言模型的前提学习中。该方法通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索。实验证明该方法相比于基于通用嵌入的基线有所改进。