一个基于 WebCodec 和自定义 HTTP 协议的 Web 直播项目设计探索。
内容提要
本文讨论了一种基于HTTP和WebCodec的实时视频会议系统架构，旨在实现低延迟的音视频传输。通过WebCodecs，开发者可以直接控制编解码过程，结合HTTP/3和TCP降级方案，优化网络传输。该系统设计轻量，支持多条TCP连接，适应不同网络环境，提升媒体管线的灵活性和控制力。
关键要点
-
本文讨论了一种基于HTTP和WebCodec的实时视频会议系统架构，旨在实现低延迟的音视频传输。
-
实时会议系统的核心问题包括网络传输、编解码和质量控制。
-
WebRTC存在资源消耗大、复杂性高等问题，而SFU模式提供了更可扩展的解决方案。
-
WebCodecs API使开发者能够直接控制编解码过程，提供了更灵活的媒体管线搭建能力。
-
该系统设计支持HTTP/3和TCP降级方案，以优化网络传输和适应不同网络环境。
-
自定义帧格式为WebCodecs量身定制，简化了数据传输过程，提升了效率。
-
整体架构通过多条TCP连接缓解队头阻塞，提升并行度，适应不同网络条件。
延伸解读
WebCodecs的优势与挑战
WebCodecs API为开发者提供了更高的编解码灵活性，允许直接控制音视频流的处理。然而，这也意味着开发者需要具备更深的技术理解，以确保在不同网络条件下的稳定性和性能。
HTTP/3与TCP降级的兼容性
虽然HTTP/3提供了低延迟和多路复用的优势，但并非所有基础设施都支持该协议。因此，设计中包含TCP降级方案是必要的，以确保在不支持HTTP/3的环境中仍能保持良好的传输性能。
自定义帧格式的设计考量
自定义帧格式的引入旨在简化数据传输过程，减少传统RTP包的复杂性。这种设计不仅提高了效率，还能更好地与WebCodecs API配合，适应浏览器的需求。
延伸问答
WebCodecs API 的主要优势是什么？
WebCodecs API 允许开发者直接控制编解码过程，提供灵活的媒体管线搭建能力，避免了 WebRTC 的复杂性和资源消耗。
该实时视频会议系统如何优化网络传输？
系统支持 HTTP/3 和 TCP 降级方案，通过多条 TCP 连接缓解队头阻塞，提升并行度，适应不同网络环境。
为什么选择 SFU 模式而不是 P2P 模式？
SFU 模式更可扩展，允许每个客户端将流推送到中央服务器，减少资源消耗和复杂性，而 P2P 模式在 NAT 穿透和资源使用上存在问题。
自定义帧格式的设计目的是什么？
自定义帧格式旨在简化数据传输过程，提升效率，确保与 WebCodecs API 的兼容性，避免传统 RTP 包的复杂性。
该系统在弱网环境下的表现如何？
在弱网环境下，该系统的表现不是最优解，但在 HTTP/3 或可靠 TCP 可用的场景下表现良好。
如何实现实时视频会议的质量控制？
通过设计质量控制模块，系统可以在网络波动时调整流的质量，确保用户体验不受影响。
