多模态推理采用EPD拆分,将视觉编码、预填充、解码分队列调度,以缓解图片请求阻塞文字请求的队头阻塞。NVIDIA测试显示,图片密集负载下首字延迟最高快5倍,但长输出或轻媒体收益小甚至倒退。该方案适合多图、短答、混合流量场景;单图、长输出、低并发不宜拆分。
完成下面两步后,将自动完成登录并继续当前操作。