SGLang 推出实验性统一内存功能(--enable-unified-memory),以单一 GPU 内存区替代按比例固定划分的多个子池,使全注意力 KV、滑动窗口 KV 和循环状态可按需动态共享容量,无需调参。新 KV 布局按 token 打包各层行,支持不同形状与 dtype,并结合压缩与调度感知的页生命周期,兼容重叠调度、Radix 缓存、PD 分离和投机解码。测试显示默认配置无性能回退,错误比例会损失 12–14% 吞吐,而统一内存可容纳更多请求并减少撤回。
完成下面两步后,将自动完成登录并继续当前操作。