Junie Local 在 Mac M5 上速度提升 70%
内容提要
JetBrains 发布 Junie Local 更新：在 Mac M5 上编码生成速度从约 40 tokens/s 提升至约 70 tokens/s，峰值达 107 tokens/s。关键改进是用 Splash 推理引擎替代 MLX-VLM，并微调 DFlash2 草稿模型以提高投机解码接受率；预填充速度从 850 tokens/s 提升至 1200 tokens/s，100k 上下文仅需约 24GB 内存。支持 M4 及更新、64GB 内存的 Mac。
延伸解读
速度提升背后的两项关键技术
本次提速主要来自推理引擎和草稿模型两处改动。Splash 引擎针对 Qwen 模型做了专门优化，每个解码步骤可同时验证八个草稿 token，且上下文注意力开销大幅降低，因此解码速度随上下文增长下降不明显。JetBrains 还将此前在 MLX-VLM 上实现的 int8 优化移植到 Splash，弥补了预填充性能。另一关键是微调后的 DFlash2 草稿模型，它提高了投机解码的接受率，而接受率直接决定解码速度。
草稿模型对任务熟悉度敏感
文章指出，基于 DFlash 的模型对领域分布非常敏感：在熟悉任务上接受率更高，代理运行更快；在陌生任务上则可能变慢。JetBrains 用内部编码环境生成的约 100 万 token 轨迹微调 DFlash2，使其在 Junie Local 编码场景下达到最高速度和接受率。这意味着实际提速幅度会随任务类型波动，读者不应将 70 tokens/s 视为所有场景的固定值。
硬件门槛与 M4 的预填充短板
新版本将支持范围扩大到 M4 及更新、64GB 内存的 Mac，但文章明确提醒：M4 上的预填充速度约为 M5 的四分之一，加载系统提示和其他上下文会较慢。因此 M4 用户虽可运行，但初始等待时间可能明显长于 M5。100k 上下文约需 24GB 内存，也说明 64GB 内存门槛并非冗余，而是为长上下文留出余量。
升级方式与模型开放
已有用户可通过 junie update 升级，然后在 CLI 内运行 /local 并按下 ctrl + r 更新推理引擎；新用户则可用一条安装命令同时安装 Junie 和本地模型。JetBrains 还将两个 DFlash2 草稿模型发布在 HuggingFace 上，包括为 Qwen3.8-3.6-27B-blend 和 Qwen 3.6 训练的版本。这为想自行复现或进一步调优的开发者提供了直接可用的模型资产。
Q&A
Junie Local 在 Mac M5 上的速度提升具体是多少？
编码生成速度从约 40 tokens/s 提升至约 70 tokens/s，峰值可达 107 tokens/s。
Junie Local 这次更新主要做了哪些技术改进？
用 Splash 推理引擎替代了 MLX-VLM，并微调了 DFlash2 草稿模型以提高投机解码的接受率。
Splash 推理引擎有什么优势？
Splash 专注于特定模型，每个解码步骤可同时验证八个草稿令牌，且上下文注意力计算成本低一个数量级，因此解码速度随上下文增长下降很少。
为什么需要微调 DFlash2 草稿模型？
因为 DFlash2 模型对领域分布敏感，在熟悉任务上接受率更高。通过用 Junie Local 在内部编码环境中生成的轨迹进行微调，可以提高在编码任务上的接受率，从而提升解码速度。
这次更新后，预填充速度和内存占用有什么变化？
预填充速度从 850 tokens/s 提升至 1200 tokens/s；在 100k 上下文下，内存占用约 24GB。
Junie Local 现在支持哪些 Mac 设备？
支持 M4 及更新芯片、配备 64GB 内存的 Mac。但请注意，在 M4 上预填充速度约为 M5 的 1/4，加载系统提示等上下文会较慢。
如何升级到最新版本的 Junie Local？
运行 `junie update` 升级 Junie 到最新版，然后启动 CLI，在 Junie 内运行 `/local` 并按 ctrl + r 更新推理引擎。如果尚未安装，可运行安装命令：`curl -fsSL https://junie.jetbrains.com/install.sh | bash -s -- --local-model`。
