Mac本地RAG文档问答——Llama2 & ChatGLM3(量化版) & Ollama
原文中文，约11300字，阅读约需27分钟。发表于：。过去文档检索的基本技术框架，中间每一步都有相当的技术复杂度，过去只有大厂在有巨大需求的场景去实现这样的能力。但是LLM的出现，让文档检索这件事情的门槛骤然降低，用向量数据库就可以轻松构建自己的文档检索系统，结合LLM的对话生成能力，真正实现文档问答的能力。
过去文档检索的技术复杂度较高，只有大厂能实现。但LLM的出现降低了门槛，用向量数据库构建文档检索系统，并结合对话生成能力实现文档问答。量化深度神经网络模型可降低硬件要求。加载文档、文本切割、文本嵌入、向量存储等步骤构建文档检索系统。LLM处理查询结果获得答案。不同的方法可用于处理文档之间的交互。LLaMA.cpp是纯C/C++版本的LLM模型，无需额外依赖，支持不同硬件加速。LangChain搭建LLM应用，包括调用模型、文档加载、文本切割、文本嵌入、向量存储、文本检索和LLM查询等步骤。ChatGLM3-cpp是C++版本的ChatGLM模型，需下载并编译模型文件。LangChain搭建LLM应用，包括调用模型、文档加载、文本切割、文本嵌入、向量存储、文本检索和LLM查询等步骤。
&summary=%E8%BF%87%E5%8E%BB%E6%96%87%E6%A1%A3%E6%A3%80%E7%B4%A2%E7%9A%84%E5%9F%BA%E6%9C%AC%E6%8A%80%E6%9C%AF%E6%A1%86%E6%9E%B6%EF%BC%8C%E4%B8%AD%E9%97%B4%E6%AF%8F%E4%B8%80%E6%AD%A5%E9%83%BD%E6%9C%89%E7%9B%B8%E5%BD%93%E7%9A%84%E6%8A%80%E6%9C%AF%E5%A4%8D%E6%9D%82%E5%BA%A6%EF%BC%8C%E8%BF%87%E5%8E%BB%E5%8F%AA%E6%9C%89%E5%A4%A7%E5%8E%82%E5%9C%A8%E6%9C%89%E5%B7%A8%E5%A4%A7%E9%9C%80%E6%B1%82%E7%9A%84%E5%9C%BA%E6%99%AF%E5%8E%BB%E5%AE%9E%E7%8E%B0%E8%BF%99%E6%A0%B7%E7%9A%84%E8%83%BD%E5%8A%9B%E3%80%82%E4%BD%86%E6%98%AFLLM%E7%9A%84%E5%87%BA%E7%8E%B0%EF%BC%8C%E8%AE%A9%E6%96%87%E6%A1%A3%E6%A3%80%E7%B4%A2%E8%BF%99%E4%BB%B6%E4%BA%8B%E6%83%85%E7%9A%84%E9%97%A8%E6%A7%9B%E9%AA%A4%E7%84%B6%E9%99%8D%E4%BD%8E%EF%BC%8C%E7%94%A8%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E5%B0%B1%E5%8F%AF%E4%BB%A5%E8%BD%BB%E6%9D%BE%E6%9E%84%E5%BB%BA%E8%87%AA%E5%B7%B1%E7%9A%84%E6%96%87%E6%A1%A3%E6%A3%80%E7%B4%A2%E7%B3%BB%E7%BB%9F%EF%BC%8C%E7%BB%93%E5%90%88LLM%E7%9A%84%E5%AF%B9%E8%AF%9D%E7%94%9F%E6%88%90%E8%83%BD%E5%8A%9B%EF%BC%8C%E7%9C%9F%E6%AD%A3%E5%AE%9E%E7%8E%B0%E6%96%87%E6%A1%A3%E9%97%AE%E7%AD%94%E7%9A%84%E8%83%BD%E5%8A%9B%E3%80%82&theme=light&border=solid)
