面向高效小型语言模型的本地AI技术栈
内容提要
本地AI生态已成熟，分为四层：模型服务（Ollama适合入门，llama.cpp/vLLM供高级控制）、编辑器接口（Cline为自主编码代理，Cursor等提供轻量补全）、终端层（Aider/OpenCode/Claude Code实现仓库级自动化）、上下文层（LanceDB/Chroma等向量数据库支持本地检索）。各层可独立选型，推荐Ollama+Cline+OpenCode+Chroma组合，兼顾隐私、零成本和效率。
延伸解读
选型关键：先定层，再选工具
文章将本地AI技术栈分为模型服务、编辑器、终端和上下文四层，并强调各层可独立选型。这意味着你无需一次性搭建完整方案，可以先从最需要的层入手，比如先用Ollama跑通模型，再逐步加入Cline或OpenCode。这种模块化设计降低了入门门槛，也便于后续按需升级，比如从Ollama换到vLLM以应对更高并发。
注意资源消耗与离线限制
本地小模型（1B-14B参数）在消费级硬件上运行，但代理型工具（如Cline）会快速消耗上下文窗口，选择大上下文模型至关重要。此外，Claude Code虽可对接本地模型，但认证仍需联网，并非完全离线。若追求数据完全隔离，应优先考虑Aider或OpenCode。这些细节直接影响实际使用体验，需根据自身隐私和硬件条件权衡。
生态变化：Continue被收购后的迁移路径
文章特别指出，Continue.dev已被Cursor收购并停止独立开发，其GitHub仓库转为只读。对于依赖Continue的本地AI用户，Cline是最直接的迁移选择，因为它同为VS Code扩展且支持本地模型。这一变化提醒我们，开源工具存在维护风险，选型时应关注社区活跃度和项目持续性，避免因工具停更而影响工作流。
Q&A
本地AI技术栈通常分为哪几个层次？
本地AI技术栈通常分为四个层次：模型服务层（如Ollama、llama.cpp、vLLM）、编辑器接口层（如Cline、Cursor）、终端层（如Aider、OpenCode、Claude Code）和上下文层（如LanceDB、Chroma等向量数据库）。
Ollama和llama.cpp有什么区别？
Ollama是一个轻量级的模型服务工具，自动处理硬件检测和显存管理，提供简单的REST API，适合入门和大多数个人开发者。llama.cpp是Ollama底层的推理引擎，直接使用它需要手动配置，但能提供对量化格式、编译目标和跨平台部署的精细控制，适合需要底层控制的开发者。
Cline是什么？它有哪些主要特点？
Cline是一个嵌入VS Code的自主编码代理，它不仅能自动补全，还能根据任务描述规划方案、创建和编辑文件、执行终端命令。它的特点是具有“Plan/Act”分离机制，让用户在模型行动前审核计划，同时支持模型上下文协议（MCP），可以集成外部工具和API。Cline是模型无关的，可以配合本地Ollama使用。
在终端层，Aider、OpenCode和Claude Code各自有什么优缺点？
Aider的优点是Git集成好，能自动提交变更并生成清晰的提交信息，适合版本控制下的多文件编辑；缺点是需要离开IDE环境。OpenCode是开源CLI编码代理，支持无头执行，适合集成到自动化流水线，但版本更新快，可能有破坏性变更。Claude Code推理能力强，支持多文件重构，但需要联网认证，不能完全离线，隐私要求高的场景不适合。
本地检索增强生成（RAG）中，向量数据库的作用是什么？
向量数据库存储文本的嵌入表示，通过语义相似度搜索，而不是关键词匹配。在RAG中，它负责从代码库或文档中检索最相关的片段，并将这些片段与用户查询一起传递给语言模型，从而使模型能够利用外部知识，实现上下文感知的响应。
对于个人开发者，推荐的本地AI技术栈组合是什么？
推荐组合是：模型服务层使用Ollama，编辑器接口层使用Cline，终端层使用Aider或OpenCode，上下文层使用Chroma或LanceDB。这个组合覆盖日常开发任务，无云依赖，无按token计费，兼顾隐私和效率。
本地AI技术栈相比云端API有哪些优势？
本地AI技术栈的优势包括：数据隐私完全由自己掌控，没有API调用成本，不依赖外部服务，可以离线使用（除Claude Code等需要认证的工具），并且可以根据硬件和工作流灵活调整各层组件。
