Strata 0.2.3 更新:聊天太长?现在会自动压缩了

Strata 0.2.3 更新:聊天太长?现在会自动压缩了

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

Strata 0.2.3 发布,引擎同步升级至 0.1.48,重点提升推理性能与 AI Agent 长对话体验。AMD Strix Halo 回答速度提升 6%~19%;RTX 5070 12GB 上 Gyro-S 生成速度从 31 提升至 45 tokens/s,约提升 45%。新增自动检查上下文、分段总结旧消息及“总结并继续”选项,并提供 /compact 命令压缩对话历史。另加入需手动开启的实验性 DFlash2 推测解码,正式提供 Intel Arc Linux SYCL 推理引擎,并修复 macOS 长提示词问题。

🔎

延伸解读

性能提升的适用范围有限

文章给出的提速数据均来自特定硬件与模型:AMD Strix Halo 上回答速度提升 6%~19%,RTX 5070 12GB 上 Gyro-S 生成速度从 31 提升至 45 tokens/s,但后者对比基准是 0.2.1 而非上一版 0.2.2。作者也明确提醒,其他显卡的提升幅度仍需实测。因此读者不宜把 45% 视为普遍涨幅,升级前最好结合自己的显卡和常用模型验证。

自动压缩解决的是崩溃而非能力

长对话此前会让本地 AI Agent 因聊天记录变长而耗尽上下文,甚至导致 Strata 直接崩溃。0.2.3 的做法是自动检查上下文占用、分段总结旧消息,并在超限时提供「总结并继续」,同时新增 /compact 命令手动压缩。这意味着长任务更不容易中断,但旧消息被总结后细节可能丢失,重要信息仍应自行留存。

DFlash2 属于实验性选项

新增的 DFlash2 推测解码通过草稿模型提前预测 token 来提高生成速度,但需要终端手动执行 strata launch --drafting dflash2 开启。官方表示它尚未在所有硬件场景中证明优于默认的 MTP,因此没有默认启用。普通用户不必急于尝试,追求速度且愿意折腾的用户可自行对比效果。

升级时注意版本显示问题

已安装 0.2.2 的用户可通过设置页面更新。文章特别提醒,桌面版在关于页面升级时,引擎部分可能显示为 0.1.0 版本,尝试重启通常即可恢复。此外本次还正式提供 Intel Arc 的 Linux SYCL 推理引擎安装包,并修复了 macOS 长提示词导致 Metal 引擎中止的问题,相关平台用户可留意这些变化。

❓

Q&A

Strata 0.2.3 更新后,聊天记录太长导致崩溃的问题怎么解决?

Strata 0.2.3 新增了自动检查上下文占用、分段总结旧消息的功能,并在超出限制时提供「总结并继续」选项。此外,还新增了 /compact 命令,可以主动压缩对话历史,避免因内存耗尽导致崩溃。

Strata 0.2.3 在推理速度上有哪些提升?

AMD Strix Halo 回答速度提升 6%~19%(代码生成提升 18%、工具调用提升 19%);NVIDIA RTX 5070 12GB 上 Gyro-S 模型生成速度从 31 提升至 45 tokens/s,约提升 45%(对比基准为 0.2.1)。

如何开启 Strata 的 DFlash2 推测解码功能?

DFlash2 是实验性功能,需要在终端手动开启,命令为:strata launch --drafting dflash2。官方表示它尚未在所有硬件场景中证明优于默认的 MTP,因此没有默认启用。

Strata 0.2.3 对 Intel Arc 显卡提供了什么支持?

Strata 0.2.3 正式提供了 Intel Arc 显卡的 Linux SYCL 推理引擎安装包,用户可以在 Linux 系统上使用 Intel Arc 显卡进行推理。

Strata 0.2.3 修复了 macOS 上的什么问题?

修复了 macOS 上较长提示词导致 Metal 引擎中止的问题。

已经安装了 Strata 0.2.2,如何升级到 0.2.3?

可以通过设置页面更新。注意在桌面版本的关于页面升级时,引擎部分可能会显示 0.1.0 版本,尝试重启应该就好了。

🏷️

标签

➡️

继续阅读