大型语言模型作为下一代密集检索的基础：全面的实证评估
内容提要
本研究探讨了基于大型语言模型（LLM）的信息检索方法，提出了密集检索和多模态双编码检索系统等技术，以提升检索性能。研究表明，检索增强显著提高了模型在长上下文任务中的表现，并在多个基准上取得了优异成绩，为低资源语言的搜索应用提供了指导。
延伸解读
检索增强与长上下文扩展的权衡
文章指出，使用简单的检索增强，4K上下文窗口的LLM在长上下文任务上可达到与经过位置插值微调的16K上下文窗口模型相当的性能，且计算量更小。检索增强的32K上下文窗口LLaMA2-70B在7个长上下文任务上平均得分优于GPT-3.5-turbo-16k和Davinci003，生成速度也快于非检索基线。这为从业者在检索增强与扩展上下文窗口之间选择提供了实证依据。
LLaRA：轻量高效的LLM适应方法
LLaRA作为一种事后适应工具，通过EBAE和EBAR两个预处理任务，利用LLM的文本嵌入重建输入句子并预测下一句，简单、轻量且高效。应用于LLaMA-2-7B基础模型时，在维基百科语料上显著提升了对MSMARCO和BEIR等密集检索基准的微调性能。这表明无需大规模微调即可有效适应LLM于检索任务。
合成数据与多语言检索的可行性
研究利用SWIM-IR合成训练数据集，评估多语言密集检索模型，发现其能以较低成本替代昂贵的人工标记检索数据。同时，基于转换器的双编码器设计为低资源语言的单语检索提供了指南。多模态双编码检索系统还能跨语言匹配语音和文本，提升召回率。这些进展降低了多语言检索应用的门槛。
Q&A
大型语言模型如何提升信息检索的效率？
大型语言模型通过在零-shot场景下辅助生成更精确的答案，从而提高检索效率。
什么是LLaRA方法，它的主要功能是什么？
LLaRA是一种LLM适应于密集检索的工具，通过预处理任务提升模型在密集检索基准上的微调性能。
研究中提到的密集检索方法有什么改进？
研究提出了一种通过学习预训练嵌入的低秩残差适应来实现任务特定的密集检索方法。
如何利用大型语言模型进行多模态检索？
大型语言模型可以在多模态双编码检索系统中匹配语音和文本，从而提升召回率和实现跨语言匹配。
文档扩展的预训练对检索性能有什么影响？
文档扩展的预训练显著提升了大规模网络搜索任务中的检索性能。
SWIM-IR合成训练数据集的作用是什么？
SWIM-IR合成训练数据集可以以较低成本替代昂贵的人工标记检索训练数据。
