还有比ollama更傻瓜式的大模型本地部署方式吗 ?

📝

内容提要

无论是agentic开发,使用LLM APi, 理解function calling 都很重要,特别是底层的请求和响应payload工作方式。ollama是服务端-客户端架构,有后台服务进程olllama.exe,提供了GUI终端和命令行工具可交互,另外提供sdk和restful api,可供各种程序或者语言操作ollama。首次推理请求, 显存使用稳定在6g,...

🏷️

标签

➡️

继续阅读