你的RAG管道可能毫无用处。这里有一个更好的替代方案
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
检索增强生成（RAG）在与大型语言模型结合时存在检索无关和上下文污染等失败模式。常见的修复方法往往过度工程化，导致成本上升和准确性下降。可考虑使用长上下文提示、摘要检索、结构化检索和图形推理等替代方案，根据查询类型选择合适的架构，以提高准确性并降低成本。
🔎
延伸解读
RAG的局限性
检索增强生成（RAG）在实际应用中常常面临检索无关和上下文污染的问题。这些问题导致模型生成的答案虽然自信，但却可能是错误的。因此，在设计RAG系统时，了解这些局限性至关重要，以避免在关键应用中出现误导性结果。
替代方案的选择
文章提出了几种RAG的替代方案，如长上下文提示、摘要检索和结构化检索等。选择合适的替代方案应根据具体的查询类型和语料库的大小来决定，以提高系统的准确性和成本效益。
复杂性与成本的权衡
在RAG系统中，过度工程化的修复方法往往导致成本上升而准确性下降。企业在实施RAG时应谨慎评估复杂性与成本之间的平衡，避免因复杂设计而增加不必要的开支。
❓
Q&A
RAG管道的主要失败模式是什么？
RAG管道的主要失败模式包括检索无关和上下文污染，导致生成的答案可能不准确。
如何避免RAG管道中的检索问题？
可以使用长上下文提示，直接加载语料库，让模型读取，而不是进行检索。
摘要检索的优势是什么？
摘要检索在检索前对文档进行压缩，效果优于原始块检索，能够提高准确性并降低成本。
结构化检索如何提高RAG的准确性？
结构化检索通过根据查询类型进行路由，确保每个查询得到适当的处理，从而提高准确性和成本效益。
图形推理适用于哪些类型的查询？
图形推理适用于需要理解数据集关系的多跳问题，能够处理跨文档的关系推理。
RAG管道的复杂性增加会带来什么后果？
增加复杂性往往会导致成本上升和准确性下降，未必能解决根本问题。
🏷️
