内容提要
纯文本连续批处理引擎难以支撑多模态负载:VLM的ViT编码脉冲会阻塞Decode,视频DiT需平方级双向注意力且末端3D VAE解码易OOM,全双工语音受80ms帧节拍与插话回滚约束。文章提出VLM走EPD分离加视觉嵌入缓存,视频DiT用CFG×USP/PipeFusion并行、TeaCache与步数蒸馏加速、BF16分块解码,语音用Moshi或Thinker-Talker原生流式,并强调小图直通、头数整除、缓存与蒸馏互斥等落地边界。
延伸解读
多模态推理不是文本引擎的简单扩展
文章指出,纯文本连续批处理引擎依赖“逐 token 自回归 + 单调追加 KV Cache”的物理契约,而 VLM 的 ViT 编码脉冲会阻塞 Decode 造成队头阻塞,视频 DiT 需要平方级双向注意力且末端 3D VAE 解码易 OOM,全双工语音则受 80ms 帧节拍和插话回滚约束。这意味着多模态负载需要按计算图、访存特征和实时性约束拆池重构,而非在原有调度器上打补丁。
EPD 分离与视觉嵌入缓存的适用边界
文章提出 VLM 理解栈走向 Encode-Prefill-Decode 三层分离,配合视觉嵌入缓存跳过重复编码,并用独立 VE 负载均衡按视觉计算量加权调度。但作者也强调小图场景存在“网络税”反转风险:224×224 缩略图仅 64 个视觉 token、BF16 嵌入不足 460KB,强行拆池可能因序列化和 RDMA 搬运导致 TTFT 反而劣于共池。因此 EPD 并非无条件银弹,需按请求尺寸分布决定拆池或共池。
视频 DiT 的算力账本与加速组合的互斥性
文章以 Wan2.1-14B 参数解析推导:480p 2s 时 Attention 仅占总算力 27.6%,而 1080p 10s 时 Attention 占比达 90.1%,总计算量约 10.17 EFLOPs。加速需同时动用 CFG×USP/PipeFusion 并行、TeaCache 时序缓存和步数蒸馏,但作者警告步数蒸馏压到 4–8 步后,相邻步变化放大,再叠加 1 步过期 PipeFusion 或激进 TeaCache 跳步会急剧放大画质退化,生产上应默认禁用或按白名单开启。
全双工语音的硬实时约束与回滚机制
文章对比级联 VAD→ASR→LLM→TTS 的 800–2000ms 延迟与 Moshi/Qwen2.5-Omni 原生流式方案约 200ms 的端到端延迟,指出全双工语音的瓶颈不是 FLOPs 或 HBM 容量,而是 80ms 帧期限和插话状态一致性。生产运行时需维护“生成步指针”与“已播放回执”双游标,在 barge-in 时精确丢弃未播帧并回滚 KV 指针至用户实际听到的最后一帧,且 P99 单帧处理耗时须≤80ms,否则客户端音频缓冲欠载会产生爆音。
Q&A
为什么纯文本连续批处理引擎无法直接支持多模态推理?
纯文本引擎围绕逐token自回归和单调追加KV Cache设计,而多模态负载破坏这一前提:VLM的ViT编码脉冲会阻塞Decode造成队头阻塞;视频DiT需平方级双向注意力且末端3D VAE解码易OOM;全双工语音受80ms帧节拍和插话回滚约束,吞吐优先调度会导致音频断帧。
VLM推理中的EPD分离是什么?它如何解决队头阻塞?
EPD分离将Encode(ViT/Audio)、Prefill和Decode解耦为独立伸缩池,配合视觉嵌入缓存跳过重复编码。这样ViT编码不再阻塞Decode池,避免跨模态队头阻塞,同时各池可按负载独立扩缩。
视频DiT推理的计算瓶颈在哪里?1080p 10秒视频需要多少算力?
瓶颈是平方级双向时空注意力与末端3D VAE解码的显存尖峰。以Wan2.1-14B、50步CFG=2计算,1080p 10秒(334,560 token)自注意力占90.1%,总计算量约10.17 EFLOPs,单卡H100@50% MFU估算需约5.7小时。
多卡部署视频DiT时,CFG、Ulysses、Ring、USP和PipeFusion该如何选择?
单机NVLink全互联优先CFG=2×Ulysses=4(需头数整除);双机16卡用CFG=2×Ring=2(跨机)×Ulysses=4(机内)避免跨机All-to-All;无NVLink的PCIe/以太网集群用CFG=2×PipeFusion=4并设Patch微批≥16,用层切分权重和1步过期激活隐藏通信。
TeaCache和步数蒸馏能叠加使用吗?有什么风险?
不能盲目叠加。步数蒸馏将采样压到4-8步后,相邻步时间跨度放大一个数量级,激活变化不再平缓,此时启用1步过期PipeFusion或激进TeaCache跳步极易在第一两步锁死结构错误并传给最终画面。生产上对S≤8的蒸馏模型应默认禁用这些近似加速。
全双工语音对话如何实现低于200ms的延迟?
需绕过级联VAD→ASR→LLM→TTS的800-2000ms累积延迟,采用原生端到端架构:Moshi用12.5Hz Mimi编解码+7B Temporal/Depth Transformer+内心独白,理论延迟160ms,L4实测约200ms;Qwen2.5-Omni用Thinker-Talker解耦+滑窗DiT声码器。运行时需对齐80ms帧节拍并实现插话KV回滚。
3D VAE解码为什么容易OOM?如何避免?
3D VAE末段全分辨率上采样维持64-128通道特征,1080p 5秒视频未分块时中间张量可达43GB,加上多缓冲实际峰值更高。必须开启时空分块(如16帧×2×2空间分块,含1.15倍重叠交叉渐变),将峰值压至2.44GB,并将3D VAE钉死在BF16,禁止粗粒度FP8量化。
视觉嵌入缓存(Vision Embedding Cache)的缓存键应该包含哪些信息?
缓存键必须包含模型权重版本、grid_thw形状和spatial_merge参数,以及原始媒体字节。如果只对媒体字节做哈希,同一张图在不同分辨率策略下缩放成不同grid_thw时,会错误命中并塞入错误长度的嵌入切片。