DEV Community
·
使用开源模型（llama3.1）创建自定义LLM代理
内容提要
本文介绍了如何在本地PC上创建一个使用开源llm（llama3.1）的自定义代理。同时使用了Ollama和LangChain。安装Ollama，拉取模型，启动模型，创建新文件夹并打开，创建和激活虚拟环境，安装langchain和langchain-ollama，使用Python构建自定义代理。最后，通过AgentExecutor调用代理并输出结果。
关键要点
-
本文介绍如何在本地PC上创建使用开源llm（llama3.1）的自定义代理。
-
使用Ollama和LangChain进行代理的创建。
-
安装Ollama，按照操作系统类型的说明进行安装。
-
通过命令拉取可用的llm模型，默认下载llama3.1:8b模型。
-
在本地启动Ollama模型，模型自动在localhost:11434上提供服务。
-
创建新文件夹并使用代码编辑器打开。
-
创建并激活虚拟环境，使用python3命令创建虚拟环境。
-
安装langchain和langchain-ollama包，确保安装最新版本。
-
使用Python构建自定义代理，设置LangChain代理以处理用户输入。
-
创建AgentExecutor以调用代理并输出结果，展示了如何计算单词长度。
-
运行代理后，成功输出单词的字母数量。
延伸问答
如何在本地PC上安装Ollama？
根据操作系统类型，按照GitHub README中的说明运行相应的命令进行安装。
如何拉取llama3.1模型？
使用命令'ollama pull llama3.1'来下载默认的llama3.1:8b模型。
如何创建和激活Python虚拟环境？
在终端中使用命令'python3 -m venv .venv'创建虚拟环境，然后使用'source .venv/bin/activate'激活它。
如何使用LangChain构建自定义代理？
创建一个Python文件，导入必要的库，定义工具和代理，然后使用AgentExecutor调用代理。
运行代理后如何输出结果？
通过调用AgentExecutor并传入输入，输出结果或指示没有结果。
llama3.1模型的默认下载版本是什么？
默认下载的是llama3.1:8b模型，这是最新且参数最小的版本。
