IBC 2024 | 基于NeRF的3D视频会议系统
原文中文,约5600字,阅读约需14分钟。发表于: 。IBC 是历史悠久,规模最大的国际广播及新媒体技术盛会。本工作是上海交通大学图像所 MediaLab 在 IBC 2024 大会成果介绍。本文提出了一种基于预训练神经渲染场 (Ne...
上海交通大学图像所 MediaLab 在 IBC 2024 大会介绍了基于预训练神经渲染场 (NeRF) 模型的生成式 3D 视频会议系统,通过提取和编码面部参数进行传输,在低于 5kbps 的比特率下保持良好的视频质量。该系统整合了实时面部参数跟踪、实时通信 (RTC) 和实时体积视频渲染,为 3D 视频会议协作提供新的可能性。