使用开源模型（llama3.1）创建自定义LLM代理
内容提要
本文介绍了如何在本地PC上创建一个使用开源llm（llama3.1）的自定义代理。同时使用了Ollama和LangChain。安装Ollama，拉取模型，启动模型，创建新文件夹并打开，创建和激活虚拟环境，安装langchain和langchain-ollama，使用Python构建自定义代理。最后，通过AgentExecutor调用代理并输出结果。
延伸解读
本地运行开源模型的实际意义
文章演示了在本地PC上通过Ollama运行llama3.1模型，这意味着用户无需依赖云端API即可使用LLM。本地运行能避免网络延迟和数据外传，适合对隐私敏感或需要离线工作的场景。但需注意，模型下载和推理会消耗本地存储与计算资源，且默认拉取的8b版本在性能上可能弱于更大参数版本。
Ollama与LangChain的分工
Ollama负责模型的下载、服务与本地推理，默认在localhost:11434提供接口；LangChain则用于构建代理逻辑，包括提示模板、工具绑定和AgentExecutor。这种组合让开发者能快速将开源模型接入现有LangChain生态，但需注意两者版本兼容性，文章建议使用-U安装最新版以避免旧版冲突。
代理工具调用的验证方式
文章通过一个计算单词字母数的自定义工具来验证代理是否正常工作。当输入“How many letters in the word educa”时，代理正确调用了get_word_length工具并返回5。这展示了代理能根据用户问题选择并执行工具，但示例仅覆盖简单场景，实际应用中需考虑工具错误处理和多步推理的复杂性。
Q&A
如何在本地PC上安装Ollama？
根据操作系统类型，按照GitHub README中的说明运行相应的命令进行安装。
如何拉取llama3.1模型？
使用命令'ollama pull llama3.1'来下载默认的llama3.1:8b模型。
如何创建和激活Python虚拟环境？
在终端中使用命令'python3 -m venv .venv'创建虚拟环境，然后使用'source .venv/bin/activate'激活它。
如何使用LangChain构建自定义代理？
创建一个Python文件，导入必要的库，定义工具和代理，然后使用AgentExecutor调用代理。
运行代理后如何输出结果？
通过调用AgentExecutor并传入输入，输出结果或指示没有结果。
llama3.1模型的默认下载版本是什么？
默认下载的是llama3.1:8b模型，这是最新且参数最小的版本。
