面向 LLM 的检索调节器
内容提要
本文综述信息检索中的稠密检索技术，涵盖Learning To Retrieve、生成检索、深度提示调整、SPTAR、RA-DIT、零样本DR、DDR等模型，并探讨低资源情境下基于预训练语言模型的稠密检索方法，按资源需求分类总结各技术算法、优缺点及未来方向。
延伸解读
从采样负例到全检索：LTRe 的改进思路
传统稠密检索模型训练时依赖从语料库中抽样负例来优化成对损失，容易引入不公平样本。LTRe 通过预先构建文档索引，在每次训练迭代中执行全检索而不采样负例，从而在整个语料库中检索相关文档。实验表明，LTRe 在有效性上优于稀疏和密集基线，甚至在合理延迟下比 BM25-BERT 级联系统表现更好。这提示我们，训练策略的调整可能比单纯增加模型复杂度更有效。
生成式检索的潜力与局限
生成检索（GR）和生成稠密检索（GDR）通过生成机制来克服传统记忆机制在精度、记忆混淆和更新成本上的问题，在小规模语料库中实现了较好的检索性能和可扩展性。然而，文章也指出这些方法目前主要在小规模语料库中验证，其在大规模场景下的表现仍需进一步研究。对于关注检索效率的读者，生成式检索提供了一条新路径，但需注意其适用范围。
提示调整与统一模型：降低部署成本的新方向
深度提示调整被用于减少密集检索的部署成本，提出的两种方法与预训练语言模型和密集检索任务兼容，在 MS-MARCO 和自然问题数据集上优于之前最先进模型。SPTAR 则利用少量真实数据优化软提示，在密集检索任务中取得了比 BM25 和基于 LLMs 的增强方法更好的结果。此外，有研究将生成检索、闭书生成和 RAG 结合为统一语言模型，在 KILT 基准上表现出色。这些工作表明，提示调整和统一框架是提升检索性能同时控制成本的重要方向。
低资源场景下的技术分类与未来方向
文章按资源需求将基于预训练语言模型的稠密检索方法分为三类：仅需文档、需文档和问题、需文档和问题答案对。这种分类有助于研究者和实践者根据自身数据条件选择合适的技术。文章还总结了各技术的算法、开放问题和优缺点，并提出了未来研究方向。对于资源有限的应用场景，理解这一分类可以避免盲目追求高资源方法，从而更高效地实现检索系统。
Q&A
什么是Learning To Retrieve（LTRe）训练技术？它有什么优势？
LTRe是一种训练技术，通过预先构建文档索引，并在每个训练迭代中在没有负样本采样的情况下执行全检索，从而在整个语料库中检索相关文档。实验表明，LTRe在有效性方面明显优于所有有竞争力的稀疏和密集基线，甚至在合理的延迟限制下比BM25-BERT级联系统表现更好。
生成检索（GR）和生成稠密检索（GDR）是什么？它们解决了什么问题？
GR和GDR是两种检索机制，通过克服记忆机制的精度、记忆混淆和记忆更新成本等问题，在小规模语料库中实现了较好的检索性能和可扩展性。
SPTAR模型是什么？它在密集检索任务中表现如何？
SPTAR是一种软提示调整强化密集检索的模型，可利用少量的真实数据优化特定的软提示。在实验中，SPTAR在密集检索任务中获得了比BM25和基于LLMs的增强方法更优秀的结果。
RA-DIT是什么？它有什么作用？
RA-DIT是一种轻量级微调方法，可以增强检索增强语言模型，有效地将检索能力集成到任何预训练语言模型中，在零样本和少样本学习场景中实现了最先进的性能。
零样本稠密检索（DR）模型的研究发现了哪些关键因素？
通过第一次全面细致的研究，发现了与源数据集相关的关键因素、目标数据集的潜在偏差和现有零样本DR模型，从而提供了关于零样本DR模型的更好的理解和发展的重要证据。
Disentangled Dense Retrieval（DDR）框架是什么？它如何支持领域自适应？
DDR是一种新型的Dense Retrieval框架，包括一个Relevance Estimation Module（REM）和几个Domain Adaption Modules（DAMs）。通过使REM和DAMs分离，DDR实现了一种灵活的训练范式，在不同的领域和语言中都表现出比强大的DR基线更好的排名性能。
在低资源情境下，基于预训练语言模型的稠密检索方法如何分类？
根据技术需要的资源将其分为三个类别：文档、文档和问题，以及文档和问题答案对。并对每个技术的算法、开放问题和优缺点进行了介绍和总结。
