KDnuggets
·
你的RAG管道可能毫无用处。这里有一个更好的替代方案
内容提要
检索增强生成（RAG）在与大型语言模型结合时存在检索无关和上下文污染等失败模式。常见的修复方法往往过度工程化，导致成本上升和准确性下降。可考虑使用长上下文提示、摘要检索、结构化检索和图形推理等替代方案，根据查询类型选择合适的架构，以提高准确性并降低成本。
关键要点
-
检索增强生成（RAG）是将文档与大型语言模型（LLMs）连接的标准方法。
-
RAG在生产中常见的失败模式包括检索无关和上下文污染。
-
检索无关是指检索到的内容与用户查询不相关，但模型仍然生成自信的错误答案。
-
上下文污染发生在多个版本的文档被检索时，模型无法识别矛盾，可能导致错误的综合答案。
-
常见的修复方法是过度工程化，导致成本上升和准确性下降。
-
长上下文提示是避免检索问题的直接替代方案，适用于语料库适合模型上下文窗口的情况。
-
在语料库过大时，使用摘要检索可以在检索前对文档进行压缩，效果优于原始块检索。
-
结构化检索通过根据查询类型进行路由，提高了准确性和成本效益。
-
图形推理适用于需要理解数据集关系的查询，能够处理多跳问题。
-
RAG在许多用例中是合理的默认选择，但在特定情况下应选择更合适的架构。
延伸解读
RAG的局限性
检索增强生成（RAG）在实际应用中常常面临检索无关和上下文污染的问题。这些问题导致模型生成的答案虽然自信，但却可能是错误的。因此，在设计RAG系统时，了解这些局限性至关重要，以避免在关键应用中出现误导性结果。
替代方案的选择
文章提出了几种RAG的替代方案，如长上下文提示、摘要检索和结构化检索等。选择合适的替代方案应根据具体的查询类型和语料库的大小来决定，以提高系统的准确性和成本效益。
复杂性与成本的权衡
在RAG系统中，过度工程化的修复方法往往导致成本上升而准确性下降。企业在实施RAG时应谨慎评估复杂性与成本之间的平衡，避免因复杂设计而增加不必要的开支。
延伸问答
RAG管道的主要失败模式是什么？
RAG管道的主要失败模式包括检索无关和上下文污染，导致生成的答案可能不准确。
如何避免RAG管道中的检索问题？
可以使用长上下文提示，直接加载语料库，让模型读取，而不是进行检索。
摘要检索的优势是什么？
摘要检索在检索前对文档进行压缩，效果优于原始块检索，能够提高准确性并降低成本。
结构化检索如何提高RAG的准确性？
结构化检索通过根据查询类型进行路由，确保每个查询得到适当的处理，从而提高准确性和成本效益。
图形推理适用于哪些类型的查询？
图形推理适用于需要理解数据集关系的多跳问题，能够处理跨文档的关系推理。
RAG管道的复杂性增加会带来什么后果？
增加复杂性往往会导致成本上升和准确性下降，未必能解决根本问题。
