&summary=%E8%BF%87%E5%8E%BB%E6%96%87%E6%A1%A3%E6%A3%80%E7%B4%A2%E7%9A%84%E5%9F%BA%E6%9C%AC%E6%8A%80%E6%9C%AF%E6%A1%86%E6%9E%B6%EF%BC%8C%E4%B8%AD%E9%97%B4%E6%AF%8F%E4%B8%80%E6%AD%A5%E9%83%BD%E6%9C%89%E7%9B%B8%E5%BD%93%E7%9A%84%E6%8A%80%E6%9C%AF%E5%A4%8D%E6%9D%82%E5%BA%A6%EF%BC%8C%E8%BF%87%E5%8E%BB%E5%8F%AA%E6%9C%89%E5%A4%A7%E5%8E%82%E5%9C%A8%E6%9C%89%E5%B7%A8%E5%A4%A7%E9%9C%80%E6%B1%82%E7%9A%84%E5%9C%BA%E6%99%AF%E5%8E%BB%E5%AE%9E%E7%8E%B0%E8%BF%99%E6%A0%B7%E7%9A%84%E8%83%BD%E5%8A%9B%E3%80%82%E4%BD%86%E6%98%AFLLM%E7%9A%84%E5%87%BA%E7%8E%B0%EF%BC%8C%E8%AE%A9%E6%96%87%E6%A1%A3%E6%A3%80%E7%B4%A2%E8%BF%99%E4%BB%B6%E4%BA%8B%E6%83%85%E7%9A%84%E9%97%A8%E6%A7%9B%E9%AA%A4%E7%84%B6%E9%99%8D%E4%BD%8E%EF%BC%8C%E7%94%A8%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E5%B0%B1%E5%8F%AF%E4%BB%A5%E8%BD%BB%E6%9D%BE%E6%9E%84%E5%BB%BA%E8%87%AA%E5%B7%B1%E7%9A%84%E6%96%87%E6%A1%A3%E6%A3%80%E7%B4%A2%E7%B3%BB%E7%BB%9F%EF%BC%8C%E7%BB%93%E5%90%88LLM%E7%9A%84%E5%AF%B9%E8%AF%9D%E7%94%9F%E6%88%90%E8%83%BD%E5%8A%9B%EF%BC%8C%E7%9C%9F%E6%AD%A3%E5%AE%9E%E7%8E%B0%E6%96%87%E6%A1%A3%E9%97%AE%E7%AD%94%E7%9A%84%E8%83%BD%E5%8A%9B%E3%80%82&theme=light&border=solid)
Mac本地RAG文档问答——Llama2 & ChatGLM3(量化版) & Ollama
内容提要
过去文档检索的技术复杂度较高，只有大厂能实现。但LLM的出现降低了门槛，用向量数据库构建文档检索系统，并结合对话生成能力实现文档问答。量化深度神经网络模型可降低硬件要求。加载文档、文本切割、文本嵌入、向量存储等步骤构建文档检索系统。LLM处理查询结果获得答案。不同的方法可用于处理文档之间的交互。LLaMA.cpp是纯C/C++版本的LLM模型，无需额外依赖，支持不同硬件加速。LangChain搭建LLM应用，包括调用模型、文档加载、文本切割、文本嵌入、向量存储、文本检索和LLM查询等步骤。ChatGLM3-cpp是C++版本的ChatGLM模型，需下载并编译模型文件。LangChain搭建LLM应用，包括调用模型、文档加载、文本切割、文本嵌入、向量存储、文本检索和LLM查询等步骤。
延伸解读
量化如何降低本地部署门槛
文章以LLaMA模型为例说明量化对硬件要求的显著影响：7B模型16位精度需13GB内存，13B版本需24GB，而量化至4位后分别降至约4GB和8GB，使消费级电脑也能运行。这解释了为何量化成为在Mac等个人设备上部署大模型的关键前提，也意味着用户无需高端GPU即可体验文档问答。
文档交互策略的选择与权衡
文章对比了Stuff、Map_reduce、Refine和Map_rank四种处理文档间交互的方法。Stuff简单但受上下文长度限制；Map_reduce可并行但文档间无交互；Refine能逐步合并信息但并行度差、耗时更长；Map_rank依赖模型评分且为实验性。读者应根据对答案质量、速度和资源消耗的实际需求来选择，而非盲目追求单一方案。
Mac本地部署的两种技术路线
文章展示了Llama2-cpp和ChatGLM3-cpp两条路径。Llama2可直接使用现成的GGUF量化模型，通过llama-cpp-python启动服务；ChatGLM3则需先下载完整模型，再用convert.py转换为ggml量化格式并编译。两者均借助LangChain搭建应用，但ChatGLM3的编译步骤更繁琐，且API启动命令需按帖子调整，对新手而言Llama2路线更易上手。
本地RAG应用的关键组件与依赖
构建文档问答需依次完成文档加载、文本切割、嵌入、向量存储和检索。文章使用UnstructuredMarkdownLoader、RecursiveCharacterTextSplitter、FAISS等LangChain组件，并强调嵌入可通过本地API实现。同时提醒llama-cpp-python与LangChain可能存在环境冲突，建议分开虚拟环境安装，且启动服务需额外安装uvicorn、fastapi等依赖包。
Q&A
LLM如何降低文档检索的门槛？
LLM通过结合向量数据库，使得构建文档检索系统变得简单，降低了技术复杂度。
构建文档检索系统的主要步骤有哪些？
主要步骤包括加载文档、文本切割、文本嵌入和向量存储。
什么是量化深度神经网络模型？
量化是通过降低神经元权重的精度来减少硬件要求的过程。
LLaMA.cpp的优势是什么？
LLaMA.cpp是纯C/C++版本的LLM模型，无需额外依赖，支持不同硬件加速。
LangChain在文档问答应用中起什么作用？
LangChain用于搭建LLM应用，包括模型调用、文档加载、文本切割等步骤。
ChatGLM3-cpp模型需要怎样的准备？
需要下载正常的模型文件并编译成量化模型文件。
