看画面与喊话是两类业务:看画面用HLS等CDN分发,成本优先;喊话须走RTC,延迟优先。TCP重传导致队头阻塞,延迟随丢包非线性上升,不适合喊话。HLS、HTTP-FLV为单向,无反向音频通道。实际项目常两套并存,仅对喊话那路补RTC。纯看画面、无强实时联动时,继续用HLS更经济。
多模态推理采用EPD拆分,将视觉编码、预填充、解码分队列调度,以缓解图片请求阻塞文字请求的队头阻塞。NVIDIA测试显示,图片密集负载下首字延迟最高快5倍,但长输出或轻媒体收益小甚至倒退。该方案适合多图、短答、混合流量场景;单图、长输出、低并发不宜拆分。
完成下面两步后,将自动完成登录并继续当前操作。