为 RAG 引入新的超参数：上下文窗口利用率
内容提要
本文探讨了上下文调整的检索增强生成模型（RAG）在提升大型语言模型（LLM）性能方面的应用。研究表明，上下文调整显著提高了语义搜索的准确性，并提出了新型优化指标以增强检索质量。通过改进文本检索过程和引入新方法CRAG，减少了生成响应的词数，同时保持了质量。文档特征对检索辅助生成的重要性也得到了强调，为未来研究奠定了基础。
延伸解读
上下文调整带来的性能提升
文章指出，上下文调整的检索增强生成模型能显著提升语义搜索性能，在上下文检索和工具检索任务上分别实现了3.5倍和1.5倍的提升，同时使基于LLM的计划生成准确性增加了11.6%。这表明，通过智能上下文检索系统获取相关信息，可以有效提高工具检索和计划生成的准确性，尤其是在语义搜索面临不完整或缺乏上下文的场景下。
优化指标与检索质量改进
文章提出了一种基于相关信息增益的新型优化指标，通过优化该指标，多样性自然从系统中出现，并在检索增强生成基准的问答任务中达到了最先进的性能。此外，通过先进的文本切块技术、查询扩展、元数据注释、重新排序算法以及嵌入算法的微调，可以大幅提高检索质量，从而提升LLM的整体效果和可靠性。
文档特征与不相关文档的意外作用
研究发现，特定类型的文档对于有效的检索辅助生成提示公式至关重要，而包括不相关的文档能出乎意料地提高准确性超过30%。这强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。这一发现提示我们，在构建RAG系统时，不应简单过滤所有不相关文档，而应更细致地分析文档特征对生成效果的影响。
CRAG与原子语句检索的效率优势
CRAG方法能有效减少提示词数量，与RAG相比至少减少46%的词数，在某些情况下甚至减少90%以上，且不会降低生成响应质量。当评论数从4个增加到75个时，RAG的词数几乎增加了9倍，而CRAG的词数不会显著增加。此外，将文档切分成原子语句并生成合成问题，能提高企业级检索增强生成的召回率，进而提升大型语言模型的性能。
Q&A
上下文调整的检索增强生成模型（RAG）有什么优势？
RAG显著提高了语义搜索的性能，分别实现了3.5倍和1.5倍的提升，同时提升了基于LLM的计划生成准确性。
CRAG方法如何改善生成响应的质量？
CRAG方法有效减少了生成响应的词数，且在某些情况下减少了90%以上的词数，同时保持了生成质量。
如何提高检索增强生成的检索质量？
可以通过改进文本检索过程，采用文本切块技术、查询扩展和重新排序算法等方法来提升检索质量。
文档特征在检索辅助生成中有何重要性？
特定类型的文档特征对有效的检索辅助生成提示公式至关重要，发现不相关文档能提高准确性超过30%。
Sparse RAG和LongRAG框架的创新之处是什么？
Sparse RAG通过并行编码和选择性解码提高生成质量并减少计算成本，而LongRAG则通过处理更大的文本单元降低检索器负担。
RAG方法在实际应用中面临哪些挑战？
RAG方法在某些应用中可能不可行，因为所检索的上下文可能需要比LLM支持的上下文窗口更长。
