SoftQE: 基于 LLMs 扩展的查询学习表示
内容提要
该文综述多项信息检索研究：query2doc利用大模型生成伪文档扩展查询，提升MS-MARCO等性能；BERT选块扩展查询；SQE改进CQA查询编码；MEMORY-VQ压缩记忆模型存储；QuantEase实现大模型近3位量化；SumQE评估摘要质量；ELQ快速实体链接；GreaseLM融合语言模型与图神经网络推理。
延伸解读
查询扩展的演进与核心思路
文章梳理了查询扩展从传统方法到基于大模型的演进。query2doc利用LLM生成伪文档扩展查询，在MS-MARCO等数据集上提升效果；BERT选块扩展则通过选择相关文档块来避免引入不相关信息。这些方法共同指向一个目标：在扩展查询时平衡召回与精度，减少噪声。
大模型在检索中的多维度应用
除了查询扩展，大模型还被用于其他检索相关任务。例如，MEMORY-VQ通过向量量化压缩记忆模型存储，使检索增强更实用；QuantEase实现近乎3位的量化，降低大模型部署成本；SumQE则评估摘要质量，间接提升生成文本的可靠性。这些工作显示大模型正渗透到检索的各个环节。
结构化知识与语言模型的融合
GreaseLM将预训练语言模型与图神经网络的表示在多层次交互中融合，以更可靠地回答需要情境限制和结构化知识推理的问题。这反映了信息检索与知识推理结合的趋势，旨在弥补纯语言模型在逻辑和事实一致性上的不足。
Q&A
query2doc 方法是如何提升信息检索性能的？
query2doc 利用大型语言模型生成伪文档，并将其扩展到查询中，从而在 MS-MARCO 和 TREC DL 等 ad-hoc IR 数据集上提高了检索性能。
BERT 在查询扩展中有什么创新应用？
一种新型查询扩展模型使用 BERT 选择相关文档块进行扩展，在 TREC Robust04 测试集上显著优于 BERT-Large 模型，有助于解决查询扩展引入不相关信息的问题。
SQE 是什么，它解决了什么问题？
SQE 是顺序查询编码，用于替代 CQA 的查询编码方法，在 FB15k、FB15k-237 和 NELL 等数据集上处理逻辑查询时表现优异。
MEMORY-VQ 如何减少记忆增强模型的存储需求？
MEMORY-VQ 使用向量量化变分自编码器 (VQ-VAE) 压缩令牌表示，从而减少存储要求，应用于 LUMEN 模型得到 LUMEN-VQ，在大型检索语料库中实现实用的检索增强。
QuantEase 如何实现大语言模型的近 3 位量化？
QuantEase 采用 Coordinate Descent (CD) 技术，通过分层量化框架对 LLMs 进行后训练量化，包括离群值感知算法，以实现近乎 3 位量化并提高模型性能。
SumQE 模型在摘要质量评估中有什么优势？
SumQE 是基于 BERT 的新型 Quality Estimation 模型，解决了仅通过基于内容的方法无法间接捕捉到的语言质量方面的问题，达到了与人类评分非常高的相关性，胜过较简单的模型。
