EP223：Ollama对比vLLM与SGLang
内容提要
本文对比了三种开源模型推理引擎：Ollama适合本地开发，vLLM适合高并发服务，SGLang适合多轮对话和智能体场景。此外，简述了Claude文本水印技术原理、Git常用命令、Kafka与RabbitMQ的区别，以及12个热门Agent技能仓库。
延伸解读
选型关键：先看场景再看性能
文章指出，Ollama、vLLM 和 SGLang 各有侧重：Ollama 面向本地开发，vLLM 面向高并发服务，SGLang 面向多轮对话和智能体。选型时应先明确使用场景，而非单纯追求性能指标。例如，若主要进行本地原型验证，Ollama 的简单性可能更合适；若需支撑大量并发请求，vLLM 的连续批处理和 PagedAttention 能提升 GPU 利用率；若涉及大量共享前缀的对话，SGLang 的 RadixAttention 可显著减少重复计算。
技术差异背后的设计取舍
三种引擎的核心差异在于请求处理机制：Ollama 使用 FIFO 队列，简单但并发能力有限；vLLM 通过连续批处理动态插入新请求，并利用 PagedAttention 优化 KV 缓存，适合高吞吐；SGLang 则通过前缀感知调度和 RadixAttention 复用共享前缀，特别适合多轮对话和工具调用场景。理解这些机制有助于根据请求模式选择引擎，例如，若请求间前缀重叠度高，SGLang 可能更高效。
注意：文章未涉及部署复杂度与生态
文章仅从功能角度对比了三种引擎，未提及部署难度、社区支持、与现有系统的集成等实际考量。例如，Ollama 可能更易于上手，但 vLLM 和 SGLang 可能提供更丰富的生产级特性。读者在选型时，应结合自身技术栈和运维能力，进一步调研各引擎的文档和社区反馈，避免仅凭本文信息做出决策。
Q&A
Ollama、vLLM和SGLang分别适合什么场景？
Ollama适合本地开发、原型设计和笔记本电脑级硬件；vLLM适合高流量服务、最大化GPU利用率和数千并发请求；SGLang适合AI代理、多轮对话和JSON/regex输出。
vLLM如何实现高并发处理？
vLLM通过连续批处理将新请求插入正在运行的批次，而不是等待其完成，并使用PagedAttention存储KV缓存，从而高效处理大量并发请求。
SGLang的RadixAttention缓存有什么作用？
RadixAttention缓存使用基数树复用共享前缀，避免重复计算，特别适合提示词重叠度高的场景，如多轮对话和AI代理。
Claude文本水印技术的基本原理是什么？
Claude文本水印通过密钥函数根据密钥和之前的几个词决定哪些候选词是有效的，从而改变采样过程。检测时，统计文本中符合密钥规则的词的比例，水印文本的匹配率显著更高。
Git中git fetch和git pull有什么区别？
git fetch从远程下载更新但不改变本地文件，git merge将下载的更改合并到当前分支，而git pull是fetch和merge的组合，一步完成下载和合并。
Kafka和RabbitMQ在消息处理上有什么本质区别？
Kafka是分布式日志，消息根据保留策略保留，消费者通过偏移量拉取消息，可重放；RabbitMQ是消息代理，消息推送给消费者并在确认后删除，适合任务分发。
Agent技能仓库中，哪个技能用于让代理在写代码前先做计划？
Superpowers (obra/superpowers) 技能让代理在写代码前先做计划。
