内容提要
Strata 0.2.2 正式版发布,新增多显卡角色管理,用户可手动指定主卡、辅助卡或禁用,并按性能分配任务。Gyro 量化模型在部分 NVIDIA 显卡上推理提速最高约 30%,并扩展支持 Mac、Intel Arc 和 AMD RX 6000。此外,该版本统一桌面与命令行模型目录,支持损坏分块重下,修复重复自动调优,并允许关闭 API 密钥。
延伸解读
多显卡分工的实际意义
0.2.2 允许手动指定主卡、辅助卡或禁用,改变了此前由程序自动分配显卡角色的方式。对拥有不同性能显卡的用户,可按显存和算力安排任务,例如将高性能卡设为主卡负责最终验证,较弱卡作为辅助卡分担计算。这提升了多卡配置的灵活性和资源利用率,但文章也提醒,多卡运行对内存需求较高,用户需评估自身硬件条件。
Gyro 提速的适用范围
官方测试显示,Gyro 模型在 RTX 3060 上提速约 11% 至 17%,在较老的 Tesla P100 上解码速度提升约 30%。提速主要来自对 GPU 计算方式的调整,使显卡更高效处理专家网络。不过,这些数据基于特定显卡和模型版本,实际提升会因硬件、模型和任务类型而异,读者不宜将最高 30% 视为普遍结果。
硬件支持扩展的进展与局限
新版本将 Gyro 模型支持扩展到 Apple Silicon Mac、Intel Arc 和 AMD RX 6000。Mac 在内存不足时需从 SSD 读取部分数据,解码速度约 9.1 tok/s;Intel Arc A750 测试达到 15.8 tok/s。但 AMD RX 6000 尚未在实机验证,Windows 安装包也未完成构建,相关用户需等待后续完善,不宜立即依赖。
模型管理与下载的实用改进
桌面版与命令行版统一模型目录,可避免重复下载数十 GB 文件,并支持迁移时校验完整性、中断续传。下载损坏时只重下出错分块,官方测试中 39.8GB 模型经历多次连接重置和中断后仍通过校验。此外,修复重复自动调优后,第二次启动耗时从 521 秒降至 13 秒。这些改进对网络不稳定或频繁切换客户端的用户尤为实用。
Q&A
Strata 0.2.2 的多显卡角色管理怎么用?可以设置哪些角色?
Strata 0.2.2 新增多显卡角色管理,允许用户手动指定每张显卡的角色。共有三种角色:Main(主卡)负责最后的模型层、草稿层以及最终验证;Helper(辅助卡)分担模型层计算和专家缓存;Off(禁用)完全不参与推理。用户可根据显卡性能、显存大小和实际需求自行安排。
Gyro 模型在 Strata 0.2.2 中推理速度提升了多少?
Gyro 量化模型在部分 NVIDIA 显卡上推理速度提升最高约 30%。官方测试中,RTX 3060 12GB 上 Gyro-S 从 53.6 tok/s 提升到 62.8 tok/s(约 17%),Gyro-M 从 50.6 tok/s 提升到 56.1 tok/s(约 11%);在 Tesla P100 上 Gyro-S 解码速度提升约 30%。
Strata 0.2.2 现在支持哪些硬件运行 Gyro 模型?
Strata 0.2.2 扩展了 Gyro 模型的硬件支持:Apple Silicon Mac 可运行 Gyro-S 和 Gyro-M(M4 Mac mini 32GB 上 Gyro-S 解码 9.1 tok/s);Intel Arc 在 Linux 下新增支持(Arc A750 8GB 上 Gyro-S 达 15.8 tok/s);AMD RX 6000 系列新增 RDNA2 引擎构建,但尚未实机验证且 Windows 安装包未完成。此外,Linux CUDA 12 安装包恢复对部分 NVIDIA Pascal、Volta 老显卡的支持。
Strata 0.2.2 如何解决模型下载损坏和重复下载的问题?
Strata 0.2.2 支持损坏分块重下,只重新下载出错的数据块,无需全部重来。官方测试中一个 39.8GB 模型分片经历 64 次连接重置和两次人为中断,最终仍通过 SHA-256 校验。同时,桌面版和命令行版统一了模型目录,可通过 Settings → Storage 迁移已有模型,迁移中会校验完整性且支持断点续传,避免重复下载几十 GB 文件。
Strata 0.2.2 修复了重复自动调优的问题吗?效果如何?
是的,Strata 0.2.2 修复了此前可能每次启动都重新进行耗时性能测试的问题。修复后,官方测试机首次启动耗时 521 秒,第二次启动仅需 13 秒,大幅减少了重复调优的时间。
如何升级到 Strata 0.2.2?
Strata 0.2.2 已正式发布,支持 Windows、macOS 和 Linux。桌面版可通过 Settings → Update 升级;命令行版使用 `strata update`;源码安装用户可运行 UPDATE.bat 或 ./update.sh。