还有比ollama更傻瓜式的大模型本地部署方式吗 ?
📝
内容提要
无论是agentic开发,使用LLM APi, 理解function calling 都很重要,特别是底层的请求和响应payload工作方式。ollama是服务端-客户端架构,有后台服务进程olllama.exe,提供了GUI终端和命令行工具可交互,另外提供sdk和restful api,可供各种程序或者语言操作ollama。首次推理请求, 显存使用稳定在6g,...
➡️