DEV Community
·
使用开源模型（llama3.1）创建自定义LLM代理
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
本文介绍了如何在本地PC上创建一个使用开源llm（llama3.1）的自定义代理。同时使用了Ollama和LangChain。安装Ollama，拉取模型，启动模型，创建新文件夹并打开，创建和激活虚拟环境，安装langchain和langchain-ollama，使用Python构建自定义代理。最后，通过AgentExecutor调用代理并输出结果。
🎯
关键要点
- 本文介绍如何在本地PC上创建使用开源llm（llama3.1）的自定义代理。
- 使用Ollama和LangChain进行代理的创建。
- 安装Ollama，按照操作系统类型的说明进行安装。
- 通过命令拉取可用的llm模型，默认下载llama3.1:8b模型。
- 在本地启动Ollama模型，模型自动在localhost:11434上提供服务。
- 创建新文件夹并使用代码编辑器打开。
- 创建并激活虚拟环境，使用python3命令创建虚拟环境。
- 安装langchain和langchain-ollama包，确保安装最新版本。
- 使用Python构建自定义代理，设置LangChain代理以处理用户输入。
- 创建AgentExecutor以调用代理并输出结果，展示了如何计算单词长度。
- 运行代理后，成功输出单词的字母数量。
➡️
