Strata 0.2.4 更新：12GB 显卡运行 DeepSeek V4.1-Flash
内容提要
Strata 0.2.4 终端版可在配备12GB显存显卡（如RTX 3060）和46GB内存的普通电脑上本地运行DeepSeek V4.1-Flash量化模型。该方案采用MoE“热门专家缓存”机制，将常用专家保留在内存中，其余存放于SSD，需至少239GB硬盘空间。提供1.75至2.25-bit三个量化版本，最低版本基准测试性能约为原版的98.7%。实测生成速度为8～10 tokens/s，适合聊天测试。目前仅支持Windows/Linux系统下的NVIDIA及部分AMD显卡。
延伸解读
“热门专家缓存”机制的实际影响
Strata 0.2.4 利用 MoE 架构的特性，将常用专家保留在内存中，其余专家存放在 SSD 上，从而大幅降低显存和内存占用。这意味着 SSD 的读取速度会直接影响生成速度，官方也建议使用高速 NVMe SSD。因此，即使显卡达标，若硬盘性能不足，实际体验可能明显下降。
量化版本的选择权衡
文章提供三个量化版本：IQ1_M（239GB）、IQ2_XXS（257GB）和 IQ2_XS（274GB）。压缩最狠的 1.75-bit 版本在基准测试中平均达到原版 98.7%，但极低比特量化仍可能影响语言表达、稳定性和复杂任务表现。如果硬盘空间允许，更推荐 IQ2_XS 版本，其量化误差更小，更适合编程和 AI Agent 任务。
速度表现与硬件瓶颈
实测显示，RTX 3060 12GB 搭配 46GB 内存可达 8～10 tokens/s，而 RTX 5070 反而只有约 5 tokens/s。这是因为模型运行依赖 CPU 和 SSD，显卡并非唯一决定因素。8～10 tokens/s 适合聊天和测试，但作者认为至少 40 tokens/s 才达到可用地步。目前该方案仅限 Strata 终端版，桌面 GUI 尚未支持。
Q&A
Strata 0.2.4 需要什么显卡和内存才能运行 DeepSeek V4.1-Flash？
需要至少 12GB 显存的显卡（如 RTX 3060）和 46GB 内存（推荐 64GB），同时需要至少 239GB 的硬盘空间，推荐使用高速 NVMe SSD。
Strata 0.2.4 是如何让 12GB 显卡跑起大模型的？
它利用 MoE 架构的“热门专家缓存”机制，将常用专家保留在内存中，其余专家存放在 SSD 上，需要时再读取，从而避免将整个模型加载到显存或内存。
DeepSeek V4.1-Flash 的量化版本有哪些？压缩后模型性能损失大吗？
提供三个量化版本：IQ1_M（1.75-bit，239GB）、IQ2_XXS（2.00-bit，257GB）和 IQ2_XS（2.25-bit，274GB）。根据 ISTA-DASLab 测试，即使压缩最狠的 1.75-bit 版本，在数学、知识问答和编程基准测试中平均表现仍达原版的 98.7%，但极低比特量化仍可能影响语言表达、稳定性和复杂任务表现。
Strata 0.2.4 运行 DeepSeek V4.1-Flash 的实际生成速度是多少？
在 RTX 3060 12GB + 46GB RAM 上，IQ2_XXS 版本生成速度约为 8～10 tokens/s；RTX 5070 12GB + 64GB RAM 约 5 tokens/s；单张 AMD Radeon AI PRO R9700 约 11 tokens/s；四张 R9700 约 31 tokens/s；四张 R9700 + DSpark 可达 55～69 tokens/s。
如何在 Windows 上安装或升级 Strata 以支持 DeepSeek V4.1-Flash？
首次安装：在 PowerShell 中下载官方安装脚本（Invoke-WebRequest https://github.com/Niko1221/Strata/releases/download/v0.2.4/install.ps1 -OutFile install.ps1），检查后执行 .\install.ps1。升级：已安装终端版的用户执行 strata update，然后 strata launch，选择 DeepSeek V4.1-Flash 即可自动下载推理引擎和模型。注意 DeepSeek 支持仅限终端版，桌面 GUI 仍是 0.2.3。
Strata 0.2.4 目前支持哪些操作系统和显卡？macOS 能用吗？
目前支持 Windows 和 Linux 系统下的 NVIDIA 显卡，部分 AMD 显卡也已获得支持。macOS 和 AMD Strix Halo 暂时无法运行这个 DeepSeek 模型。
