超越视频通话：架构下一代可编程实时互动
内容提要
现代CPaaS基础设施通过SFU路由架构、Simulcast/SVC流自适应机制及动态抖动缓冲、丢包隐藏、NACK/FEC等恢复协议，在不可预测的全球网络上实现毫秒级双向延迟，支持数千并发用户，平衡服务器负载与客户端解码能力，确保实时视频流畅。
延伸解读
SFU与MCU的取舍
文章对比了MCU和SFU两种媒体服务器拓扑。MCU在服务器端混流，对客户端友好，但服务器CPU消耗随参与者数量指数增长，成本高且引入编码延迟。SFU则作为轻量路由器，不解码视频负载，服务器负载低，可承载数千路并发流，但将解码负担转移给客户端。理解这一权衡有助于根据应用场景选择合适架构。
Simulcast与SVC的流自适应机制
为应对客户端解码能力差异，文章介绍了Simulcast和SVC两种机制。Simulcast同时编码多个分辨率版本，SFU根据下游带宽选择合适层级；SVC则通过分层编码，在拥塞时动态剥离增强层。这两种机制共同确保不同网络条件下的流畅体验，是SFU模型在多样化终端上可行的关键。
网络恢复协议的实际意义
实时通信依赖UDP，但网络丢包不可避免。文章提到的动态抖动缓冲、丢包隐藏、NACK和FEC等机制，分别从重排序、填补间隙、快速重传和冗余纠错等角度保障媒体流畅。这些技术对用户体验至关重要，理解它们有助于评估实时通信服务的质量保障能力。
Q&A
实时视频通信中，MCU和SFU两种架构有什么区别？
MCU（多点控制单元）是集中式混流架构，服务器解码所有入站流，混合后重新编码为一路视频流推送给参与者，优点是客户端负担小，但服务器CPU消耗随参与者数量指数增长，成本高且有编码延迟。SFU（选择性转发单元）是路由架构，服务器不解码视频，只将原始流选择性转发给参与者，优点是服务器CPU占用低，可承载数千并发流，但客户端需解码多路视频轨。
SFU架构下，如何减轻客户端的解码负担？
SFU架构下，通过Simulcast和SVC两种流自适应机制减轻客户端负担。Simulcast是推流端同时编码同一视频轨的高、中、低三个版本，SFU根据下行带宽路由合适层级；SVC是发送包含基础层和增强层的分层流，网络拥塞时SFU动态剥离增强层。
实时通信中为什么使用UDP而不是TCP？
因为TCP的重传延迟会毁掉实时对话的流畅性，而UDP（通过RTP/WebRTC）延迟更低，更适合实时通信。
实时视频中处理网络丢包有哪些恢复机制？
主要有三种：动态抖动缓冲管理（自适应延迟重排序数据包）、丢包隐藏（PLC，预测算法填补音频间隙）、NACK与FEC（否定确认快速重传缺失数据包，前向纠错注入冗余字节供客户端修复）。
MCU架构的主要缺点是什么？
MCU架构的主要缺点是服务器端CPU消耗随参与者数量呈指数级增长，导致成本上限高，并引入不可避免的编码延迟。
SFU架构的主要优点是什么？
SFU架构的主要优点是服务器只需检查网络数据包头并转发数据，CPU占用几乎可以忽略不计，单台服务器实例可承载数千路并发流，路由开销仅为个位数毫秒。
