RAG知识库问答LangChain+LLM的二次开发：商用时的典型问题及其改进方案
💡
原文中文，约7800字，阅读约需19分钟。
📝
内容提要
本文介绍了基于langchain-chatchat二次开发知识库问答系统的方法，包括优化embedding算法和LLM回答的方法，以及按语义切分和基于规则的文档分割方法。同时，还介绍了确保召回结果全面准确的方法和基于文档中表格的问答解决方案。
🎯
关键要点
- 本文介绍了基于langchain-chatchat的知识库问答系统的二次开发方法。
- 项目分为三个组，分别负责不同的AI项目。
- 知识库问答有两种方案：基于llamaindex和基于langchain + LLM。
- 优化embedding算法和LLM回答是提升问答系统效果的关键。
- 文档分割方法包括按语义切分和基于规则的分割。
- 确保召回结果的全面性与准确性需要多路召回和去重精排。
- 使用RapidOCRPDFLoader作为文档加载器进行知识库构建。
- 检索出错的原因包括文件解析不准确和embedding模型效果差。
- 优化embedding算法需要根据业务场景选择合适的模型。
- LLM回答不准确的原因包括未完全根据文档内容回答。
- 针对非结构化文档的分割需要按语义进行优化。
- 结构化文档的分割可以根据文档标题进行。
- PDF文档解析存在标题不一致和跨页问题。
- 解决PDF解析问题的方法包括去除空格和使用正则表达式。
➡️
