Strata 0.2.10 发布:本地 AI 大模型继续提速,默认使用 DFlash2 降低显存需求,8GB 显卡也能开启 128K 上下文

Strata 0.2.10 发布:本地 AI 大模型继续提速,默认使用 DFlash2 降低显存需求,8GB 显卡也能开启 128K 上下文

💡 原文中文,约3500字,阅读约需9分钟。
📝

内容提要

Strata 0.2.10 发布,默认启用 DFlash2 推测解码器,显存占用从约 5.2GB 降至约 625MiB,8GB 显卡也能开启 128K 上下文,但压力转移至内存和 SSD。多显卡协作优化使代码编辑速度接近翻倍。新增编程专用模型 ISTA-DAS Coder,并修复多项 Agent 与界面问题。

🔎

延伸解读

显存门槛降低,但内存与 SSD 成为新瓶颈

Strata 0.2.10 通过 DFlash2 将推测解码器显存占用从约 5.2GB 降至约 625MiB,使 8GB 显卡也能开启 128K 上下文。但文章明确指出,显存压力并未消失,而是转移到了内存和 SSD。作者据此认为内存 32GB 起步、48GB 刚好、64GB 才算宽裕。读者在升级前应优先确认系统内存和存储性能,而非只看显卡。

DFlash2 默认开启,但并非所有场景都更优

DFlash2 成为默认加速器后,官方测试中短回复生成速度提升约 3.8% 至 8.4%,且显存占用远低于 MTP。不过文章也列出代价:DFlash2 主要面向单请求,依赖特定模型与引擎,首次还需额外下载约 1.2GB 文件;MTP 则在硬件兼容性和多并发场景更有优势。Strata 的默认策略是单请求 Qwen3.8 优先用 DFlash2,多并发等场景优先用 MTP。

多显卡协作方式改变,代码编辑提速最明显

新版 All-cards Split Engine 不再按层拆分模型到不同显卡,而是让多张显卡共同处理每一层。官方用两张 RTX A6000 测试,代码编辑从 195 Token/s 提升到 377~394 Token/s,生成新代码、普通文本和 Agent 循环也有不同幅度提升。这说明多卡用户升级后收益较大,但测试基于特定硬件和 Linux 环境,实际效果可能因配置而异。

编程专用模型存储需求极高,下载前需规划空间

新增的 ISTA-DAS Coder 基于 DeepSeek-V4.1-Flash 裁剪专家,每层只保留 384 个专家中的 192 个,以减少计算量。官方测试中单张 Radeon AI PRO R9700 为 22.8 Token/s,四张可达 59.2 Token/s。但仅模型权重约 72.1GB,另有约 110.6GB 的 Engram 数据文件,首次完整下载约需 191GB。对存储空间有限的用户,这是一个需要提前考虑的限制。

❓

Q&A

Strata 0.2.10 在 8GB 显卡上开启 128K 上下文是怎么实现的?

当显存不足时,Strata 会优先调整显存和内存之间的数据分配,逐步缩小驻留在 GPU 中的 KV 缓存窗口,必要时将部分数据放到系统内存中,从而尽可能保留用户设置的上下文长度。因此 8GB 显存也能启动 128K 上下文,但压力转移到了内存和 SSD。

DFlash2 和之前的 MTP 推测层相比有什么优缺点?

DFlash2 显存占用约 625MiB,远低于 MTP 的约 5.2GB,在多数官方测试中单请求生成速度更快,适合低显存设备;但 DFlash2 首次需额外下载约 1.2GB 文件,主要面向单请求,支持范围依赖特定模型与引擎。MTP 则兼容范围更广,更适合多并发场景。

Strata 0.2.10 的多显卡优化具体提升了哪些任务的速度?

新版引入 All-cards Split Engine,允许多张显卡共同处理每一层模型。官方用两张 RTX A6000 测试,代码编辑从 195 Token/s 提升到 377~394 Token/s,生成新代码从 139~144 Token/s 提升到 189~232 Token/s,普通文本从 93 Token/s 提升到 139~146 Token/s,Agent 循环从 112~119 Token/s 提升到 165 Token/s。

ISTA-DAS Coder 是什么模型?它的硬件需求和速度如何?

ISTA-DAS Coder 是基于 DeepSeek-V4.1-Flash 针对编程和 Agent 任务进行专家裁剪的模型,每层只保留 384 个专家中的 192 个。速度方面:单张 Radeon AI PRO R9700 为 22.8 Token/s,四张 R9700 为 59.2 Token/s,Apple M5 Max 为 19.1~22.5 Token/s,RTX PRO 6000 Blackwell 约 100 Token/s。存储需求很大,模型权重约 72.1GB,另有约 110.6GB Engram 数据文件,首次完整下载约 191GB。

Strata 0.2.10 对 Agent 和界面做了哪些修复?

修复包括:AI 回复很长时 Approve 和 Deny 按钮不再被滚动到看不见的位置;子 Agent 可以接收用户追加的指令;历史对话自动摘要尽量使用用户原本的语言;AI 生成内容时可以选择等待、排队发送或中断;支持引用之前的某轮对话或选中的文字;改善 Claude Code 上下文溢出时的错误提示,使其能尝试压缩上下文。此外还修复了 Windows 某些后台启动场景下磁盘读取优先级过低导致模型加载变慢的问题。

升级到 Strata 0.2.10 后,对电脑内存有什么要求?

由于显存压力转移到了内存和 SSD,文章建议内存 32G 起步,48G 刚好,64G 才算解决温饱。

🏷️

标签

➡️

继续阅读