内容提要
开源本地AI推理工具Splash发布1.4.0版,开发者称在相同Mac和模型下,其输入处理与回答生成速度均比Strata快30%以上。Splash专为Apple Silicon优化,支持百万级上下文,但要求M3芯片及macOS 26.4;Strata兼容M1且支持多平台,对低配设备更友好。Splash免费开源,适合新款Mac用户。
延伸解读
30% 速度优势的边界条件
Splash 宣称的“快 30%”基于 M5 Pro、64GB 统一内存、相同 Q2_0 量化模型这一特定环境,且 120 tokens/s 是最高成绩,官方标准短输入生成速度为 95 tokens/s。文章也指出,Strata 的 Mac 版同样使用 Metal 和推测解码,因此这一优势应视为多项优化共同作用的结果,具体哪项技术贡献最大尚无足够数据。读者不宜将 30% 直接套用到自己的设备或模型上。
百万上下文不等于实际可用长度
Splash 支持最高 100 万 tokens 的上下文设置,但文章明确提醒,这仅是软件支持的上限,并不代表 64GB 内存的机器能在该长度下维持最高速度,实际长度仍受模型和可用内存限制。对于需要处理长文档或代码库的用户,这一能力有吸引力,但应把它理解为“可设置的上限”,而非在普通配置上稳定达到的日常体验。
选 Splash 还是 Strata:先看设备下限
两者的定位差异首先体现在硬件门槛:Splash 要求 M3 芯片和 macOS 26.4,24GB 内存可尝试较小 GGUF 模型;Strata 从 M1 起支持,并能在内存不足时通过 SSD 流式加载部分参数,甚至可在 M1 Max、34GB 内存上以约 7.9 tokens/s 运行同一大模型。因此,新款 Mac 用户可优先考虑 Splash 的性能,老设备或低配用户则更适合 Strata。
平台与生态的取舍
Splash 仅支持 Apple Silicon Mac,而 Strata 覆盖 Windows、Linux 与 macOS,这是选择时不可忽略的差异。Splash 免费开源,采用 Apache 2.0 许可证,并兼容 OpenAI 和 Anthropic API,可连接 Claude Code、Codex、OpenCode 等编程工具。若工作流跨平台,Strata 的广泛兼容性更实用;若专注新款 Mac 本地推理,Splash 的生态集成则更直接。
Q&A
Splash 1.4 比 Strata 快多少?在什么测试条件下得出的?
开发者称在相同 Mac 和相同模型下,Splash 1.4 的输入处理和回答生成速度均比 Strata 快 30% 以上。测试使用 M5 Pro、64GB 统一内存的 Mac,运行相同的 Q2_0 量化模型,Splash 1.4 最高回答生成速度达 120 tokens/s,短输入生成速度 95 tokens/s,32K 输入处理速度 1,312 tokens/s。
Splash 为什么能比 Strata 快?用了哪些技术?
Splash 针对 Apple GPU 优化了 Metal 计算内核,并采用 DFlash 2 推测解码(让小模型提前猜测大模型输出,再由大模型批量验证以减少计算次数),还优化了不同模型的内存布局和任务调度,并能复用已处理的上下文缓存。不过 Strata 的 Mac 版也使用原生 Metal 引擎并支持 MTP 推测解码,因此 30% 的优势应是多项优化共同作用的结果,官方尚未公布具体哪项技术贡献最大。
Splash 和 Strata 在硬件要求上有什么区别?
Splash 要求最低 M3 芯片和 macOS 26.4,仅支持 Apple Silicon Mac;Strata 支持从 M1 起,且兼容 Windows、Linux 和 macOS。内存方面,Splash 24GB 可尝试较小模型,Strata 官方建议 32GB 起,但内存不足时可通过 SSD 流式加载继续运行超大模型。
我的 Mac 是 M1 芯片,应该用 Splash 还是 Strata?
建议使用 Strata。Splash 要求至少 M3 芯片和 macOS 26.4,M1 设备无法运行。Strata 从 M1 起支持,且能在内存不足时通过 SSD 流式加载运行大模型,对旧设备更友好。
Splash 支持多长的上下文?实际能跑满吗?
Splash 支持最高 100 万 tokens 的上下文设置,但这是软件支持的上限,实际能达到的长度受模型和可用内存限制,并不代表 64GB 的机器可以在这一长度下维持最高速度。
如何安装 Splash 并运行 Qwen3.8-Flash-Next 模型?
在 M3 以上 Mac 上,使用 Homebrew 安装:brew install incoai/tap/splash。运行 Qwen3.8-Flash-Next 的命令为:splash serve --model ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:Q2_0。首次启动需要下载模型和配套辅助文件,请预留充足磁盘空间。
Splash 除了内置聊天,还能连接哪些 AI 编程工具?
Splash 兼容 OpenAI 和 Anthropic API,可以连接 Claude Code、Codex、OpenCode 等 AI 编程工具。