内容提要
Strata 0.2.9 发布,重点提升本地大模型推理速度:Windows 上 AMD Strix Halo 运行 Qwen3.8 时,32K 长提示词处理从约 41 秒缩短至 22 秒,最高提速 88%;NVIDIA 显卡 8 路并发提升约 45%,Intel Arc 亦有优化。新增 Unsloth 1-bit DeepSeek 模型支持,修复多张 AMD 显卡无法协同工作的问题,并改善超长回答时聊天界面卡顿。
延伸解读
Prefill 提速的实际意义
文章将 Prefill 解释为模型读完长文档、代码或工具返回信息后开始回答前的等待时间。在 Windows + AMD Strix Halo 上,32K 提示词处理从约 41 秒缩短到 22 秒,节省约 19 秒。对于经常让本地 AI 阅读长文档、分析代码或使用 Agent 的用户,这种等待时间的减少比解码速度的小幅提升更直接影响交互节奏。
不同硬件的收益差异明显
本次优化并非所有平台同等受益。AMD Strix Halo 的 Prefill 提升最高达 88%,NVIDIA RTX PRO 5000 在 8 路并发下提升约 45%,而 Intel Arc Pro B65 双卡测试中提示词处理提升 4.6%~15.8%。读者应根据自己的显卡类型判断实际收益,不能直接把 88% 套用到所有设备上。
1-bit DeepSeek 的容量与能力权衡
新增的 Unsloth 1-bit DeepSeek 模型下载体积分别为 241GB 和 258GB,对存储空间要求很高。在 61 项任务测试中,两个 1-bit 版本均完成 53 项,略低于 2.25-bit 对照版的 56 项。这说明 1-bit 量化降低了运行门槛,但并非无损,用户需在可运行性与任务完成度之间做取舍。
多卡与界面修复的实用价值
0.2.9 修复了多张 AMD 显卡无法协同工作的问题,四张 Radeon AI PRO R9700 无需手动指定即可全部启用,解码速度从原先单卡的 7.8~25.7 tok/s 提升到 57.7~103.7 tok/s。同时,Web 聊天界面在 4 万 Token 长回复下主线程耗时从 15.7 秒降至 9 秒,峰值内存也明显下降,改善了长时间使用的流畅度。
Q&A
Strata 0.2.9 在 AMD Strix Halo 上运行 Qwen3.8 时,32K 长提示词处理速度提升了多少?
在 Windows 系统上,使用 AMD Strix Halo 处理器运行 Qwen3.8 IQ3_S 模型,32K 长提示词处理速度从 778 tok/s 提升到 1,460 tok/s,提升约 88%;处理时间从约 41 秒缩短到约 22 秒。
Strata 0.2.9 对 NVIDIA 显卡有哪些性能优化?
在 Linux 下使用 RTX PRO 5000 运行 Qwen3.8 IQ3_S,同时处理 8 个请求时并发性能提升约 45%,单个请求速度提升约 5.3%。此外,为 Linux 上的 NVIDIA 显卡默认启用了 Gated DeltaNet 的 Tensor Core 计算内核,长提示词处理提升约 4%~6%;RTX A4000 在 16K 和 32K 提示词处理上分别提升 2.6% 和 3.2%。
Strata 0.2.9 新增的 1-bit DeepSeek 模型有哪些版本?下载体积多大?
新增 Unsloth 的 1-bit DeepSeek 量化模型,包括两个版本:UD-IQ1_S 下载体积 241GB,UD-IQ1_M 下载体积 258GB。
Strata 0.2.9 如何解决多张 AMD 显卡无法协同工作的问题?
0.2.9 版本修复了多张 AMD 显卡不能同时工作的问题。更新后无需手动指定 GPU,即可自动使用全部显卡。例如使用四张 Radeon AI PRO R9700 测试 DeepSeek,解码速度从原先单卡的 7.8~25.7 tok/s 提升到 57.7~103.7 tok/s。
Strata 0.2.9 对聊天界面做了哪些改进?
修复了 Web 聊天界面面对超长回答时的卡顿问题。在 40,000 Token 的模拟长回复测试中,主线程耗时从 15.7 秒降至 9 秒,峰值内存从 114MB 降至约 62~75MB。
Strata 0.2.9 对 Intel Arc 显卡有哪些优化?
继续优化了 Intel Arc B 系列显卡。在两张 Intel Arc Pro B65 的测试环境中,提示词处理速度提升 4.6%~15.8%;同时处理 8 个请求时,总生成吞吐量从 42.1 tok/s 提升到 53.8 tok/s。此外,Strata 现在可以自动识别并使用多张 Arc 显卡,双 B65 短提示词处理速度达到 439 tok/s,而单卡为 221 tok/s。