RAG 驱动
内容提要
Retrieval Augmented Generation (RAG)是一种将大型语言模型（LLM）与内部知识库的新数据相结合的生成式AI技术，以生成更可靠的回答。RAG通过从知识库中检索相关信息并使用它来生成回答。RAG系统由语义搜索层和生成层组成。语义搜索层通过将文档转化为嵌入向量来构建知识库。生成层包括一个LLM和一个提示，指示LLM生成什么样的回答。RAG通过提供最新信息和减少AI幻觉来提高LLM的性能。
延伸解读
RAG 如何减少 AI 幻觉
RAG 通过从知识库中检索相关信息，并将其插入 LLM 提示中，为模型提供准确的上下文，从而减少 AI 幻觉。文章指出，LLM 训练数据可能不完整或过时，而 RAG 允许添加新知识而无需重新训练模型。检索到的信息越准确相关，LLM 越不可能编造事实或脱离上下文回答。
语义搜索层与生成层的分工
RAG 系统由语义搜索层和生成层组成。语义搜索层负责构建知识库：将文档分割成块，通过嵌入模型转化为向量，并存入向量数据库。生成层则执行语义搜索，将最相关的文本块插入 LLM 提示，并调用 LLM 生成回答。两层协作使 LLM 能基于检索到的上下文生成更准确的响应。
RAG 的成本与优化权衡
RAG 的主要成本来自向量数据库托管和 LLM 推理。其中，LLM 推理成本的最大驱动因素是插入提示中的语义搜索结果数量。更多结果可能提高回答质量，但也会增加 token 使用和响应延迟，且可能因无关信息稀释而“困惑”模型。最佳结果数量因系统而异，受块大小、信息密度、查询范围等因素影响，需通过评估驱动开发来确定。
RAG 系统的评估与知识库质量
RAG 系统需要持续评估，以确保行为和质量随时间改善而非退化，并应进行红队测试以应对越狱提示等恶意输入。此外，RAG 系统的效果取决于知识库内容的质量和数量。即使知识库包含正确信息，如果语义搜索未能检索到或排名不够高，LLM 也无法看到该信息，从而可能给出不令人满意的回答。
Q&A
RAG系统的主要功能是什么？
RAG系统通过结合大型语言模型（LLM）和内部知识库的新数据，生成更可靠的回答，减少AI幻觉。
RAG系统是如何提高LLM性能的？
RAG通过提供最新信息和减少AI幻觉来提高LLM的性能，使其生成更准确的回答。
RAG系统的组成部分有哪些？
RAG系统由语义搜索层和生成层组成，语义搜索层负责构建知识库，生成层则使用LLM生成回答。
什么是嵌入模型，它在RAG中有什么作用？
嵌入模型是将文档转化为嵌入向量的工具，帮助构建知识库并进行信息检索。
RAG系统的成本主要来自哪里？
RAG系统的主要成本来自向量数据库托管和LLM推理，尤其是语义搜索结果的数量。
RAG系统如何减少AI幻觉？
RAG系统通过提供更准确和相关的信息，降低LLM生成虚假信息的可能性，从而减少AI幻觉。
