freeCodeCamp.org
·
如何在本地运行LLM以与您的文档进行交互
💡
原文英文，约1500词，阅读约需6分钟。
📝
内容提要
大多数AI工具需要将数据发送到第三方服务器，而本地运行LLM可以保护隐私。本文介绍如何安装Ollama和OpenWebUI，选择合适的模型，设置文档搜索，确保数据不上传云端，从而安全地与敏感文档交互。
🎯
关键要点
- 大多数AI工具需要将数据发送到第三方服务器，保护隐私的解决方案是本地运行LLM。
- 本文介绍如何在本地安装Ollama和OpenWebUI，选择合适的模型，设置文档搜索。
- 安装Ollama和OpenWebUI需要终端和Python或Docker。
- Ollama用于运行模型，OpenWebUI提供浏览器界面与本地LLM交互。
- 安装Ollama后，通过终端命令确认其运行状态。
- 使用pip安装OpenWebUI，并启动服务器以访问本地界面。
- 选择适合硬件的模型并下载，推荐Gemma3作为入门模型。
- 设置文档交互需要安装nomic-embed-text模型以处理文档。
- 启用记忆功能以便LLM记住过去对话的上下文。
- 设置文档的分块大小和重叠，以优化模型的嵌入和检索性能。
- 上传文档到知识库，并创建自定义模型以自动搜索相关内容。
- 可以定义系统提示以指导模型在对话中的响应风格。
- 确保在本地环境中与文档进行私密对话，避免数据上传到云端。
- 通过迭代模型选择、分块和提示，进一步优化本地LLM的使用体验。
❓
延伸问答
如何在本地安装Ollama和OpenWebUI？
首先下载并安装Ollama，然后使用pip安装OpenWebUI，最后启动服务器以访问本地界面。
为什么选择本地运行LLM而不是使用云服务？
本地运行LLM可以保护隐私，避免将敏感数据发送到第三方服务器。
如何设置文档的分块大小和重叠？
建议将分块大小设置为128-512个tokens，重叠设置为10-20%。
如何确保LLM记住过去的对话？
可以启用记忆功能，并下载适应性记忆插件以帮助LLM记住上下文。
如何上传文档到本地知识库？
在“Workspace”中创建新集合，然后上传文件，确保检查上传过程中的错误。
推荐哪个模型作为入门使用？
推荐使用Gemma3作为入门模型，适合大多数硬件。
➡️
