How to Build a Custom Knowledge Base RAG System from Scratch
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
RAG是一种结合了检索和生成的机器学习模型，用于自然语言处理任务。文章介绍了基于京东云官网文档的RAG系统的实现步骤，包括数据收集、建立知识库、向量检索等。使用clickhouse作为向量数据库，使用langchain的Retriever工具集进行文档向量化和入库。最后构建了一个基于fastapi的restful服务和一个基于gradio的简易对话界面。
🎯
关键要点
- RAG指的是检索增强的生成，是一种结合检索和生成的机器学习模型，主要用于自然语言处理任务。
- 实现RAG系统的步骤包括数据收集、建立知识库和向量检索等。
- 数据收集过程涉及收集、清洗、格式化和切分，使用京东云的官方文档作为知识库基础。
- 向量数据库是RAG系统的核心，本项目选择了clickhouse作为向量数据库，因其集成良好且学习成本低。
- 使用langchain的Retriever工具集进行文档向量化和入库，需自定义加载器以适应特定格式。
- 构建基于fastapi的restful服务，提供文档检索功能。
- 使用gradio构建简易对话界面，结合检索到的文档生成答案。
- 选择qwen 1.8B模型以节约算力资源，确保模型和嵌入模型可以在同一GPU上运行。
➡️
