How to Build a Custom Knowledge Base RAG System from Scratch
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
RAG是一种结合了检索和生成的机器学习模型，用于自然语言处理任务。本文介绍了基于京东云官网文档的RAG系统的实现步骤，包括数据收集、建立知识库、向量检索等。使用clickhouse作为向量数据库，使用langchain的Retriever工具集进行文档向量化和入库。最后构建了一个基于fastapi的RESTful服务和一个基于gradio的简易对话界面。
🎯
关键要点
- RAG是一种结合检索和生成的机器学习模型，主要用于自然语言处理任务。
- 实现RAG系统的步骤包括数据收集、建立知识库和向量检索。
- 数据收集过程涉及收集、清洗、格式化和切分，使用京东云的官方文档作为知识库。
- 每条数据包含文档内容、标题、相关产品和在线地址四个字段。
- 选择clickhouse作为向量数据库，因其与langchain的集成良好，且支持SQL查询。
- 使用langchain的Retriever工具集进行文档向量化和入库。
- 自定义JD_DOC_Loader以解析特定格式的JSON文件并填充Document字段。
- 使用clickhouse向量工具集进行文档入库，并进行检验。
- 构建基于fastapi的RESTful服务，提供文档检索功能。
- 使用Gradio构建简易对话界面，便于用户交互。
➡️
