在macOS上使用Ollama和Docker运行GPT-Engineer

💡 原文英文,约200词,阅读约需1分钟。
📝

内容提要

文章介绍了如何设置和运行GPT-Engineer。首先配置Ollama以接受Docker请求,然后通过Docker运行GPT-Engineer,并指向本地Ollama模型。可以通过更改MODEL_NAME切换模型,如使用gemma2。为了定制本地模型的提示,使用--use-custom-preprompts选项生成可编辑的提示文件,以便调整输入给模型。

🎯

关键要点

  • 配置Ollama以接受Docker请求,使用命令:launchctl setenv OLLAMA_HOST '0.0.0.0'

  • 通过Docker运行GPT-Engineer,指向本地Ollama模型,使用命令:docker run -it --rm -e OPENAI_API_BASE='http://<local_ip>:11434/v1/' -e OPENAI_API_KEY='NOTHING_HERE' -e MODEL_NAME='codellama' -v ./your-project:/project gpt-engineer

  • 替换<local_ip>为本机的IP地址以确保连接

  • 可以通过更改MODEL_NAME来切换模型,例如使用gemma2,命令为:ollama run gemma2

  • 本地模型需要定制提示,使用--use-custom-preprompts选项提取可编辑的提示文件,命令为:docker run -it --rm -e OPENAI_API_BASE='http://<local_ip>:11434/v1/' -e OPENAI_API_KEY='NOTHING_HERE' -e MODEL_NAME='codellama' -v ./your-project:/project gpt-engineer --use-custom-preprompts -i

  • 生成的preprompts/文件可以编辑并输入给模型

延伸问答

如何配置Ollama以接受Docker请求?

使用命令:launchctl setenv OLLAMA_HOST '0.0.0.0'。

如何通过Docker运行GPT-Engineer?

使用命令:docker run -it --rm -e OPENAI_API_BASE='http://<local_ip>:11434/v1/' -e OPENAI_API_KEY='NOTHING_HERE' -e MODEL_NAME='codellama' -v ./your-project:/project gpt-engineer。

如何切换使用不同的模型?

通过更改MODEL_NAME,例如使用命令:ollama run gemma2。

如何定制本地模型的提示?

使用--use-custom-preprompts选项提取可编辑的提示文件,命令为:docker run -it --rm -e OPENAI_API_BASE='http://<local_ip>:11434/v1/' -e OPENAI_API_KEY='NOTHING_HERE' -e MODEL_NAME='codellama' -v ./your-project:/project gpt-engineer --use-custom-preprompts -i。

在运行GPT-Engineer时需要注意什么?

确保将<local_ip>替换为本机的IP地址以确保连接。

生成的可编辑提示文件存放在哪里?

生成的可编辑提示文件存放在preprompts/目录中。

➡️

继续阅读