触摸未来，字节跳动提出6DoF直播创新方案
内容提要
火山引擎多媒体实验室提出了可实时交互的自由视角视频技术，通过多相机阵列采集光场并使用神经辐射场技术重建三维场景。实验室还搭建了实时交互的直播链路，包括模型压缩编码传输和移动端快速解码渲染。力反馈模组和可交互的单目3D视频技术也得到了研发。这一创新技术将为沉浸式视频技术带来新的变革，成为人们日常生活的一部分。
延伸解读
三维直播的挑战与创新
三维直播面临数据量大、带宽需求高的核心挑战，传统点云、网格等表征难以直接用于直播。火山引擎多媒体实验室通过多相机阵列采集光场，并利用神经辐射场技术重建三维场景，同时搭建实时直播链路，实现了低于100毫秒的超低延时切流，为三维直播的流畅传输和播放提供了可行方案。
神经辐射场技术的优化
神经辐射场技术能从多视角二维图像重建三维场景，但计算量大。实验室提出基于三维人体先验的优化方法，通过AI模型计算二维人体先验，投射到三维空间形成粗糙人体可视外壳，将辐射场光线限制在可视外壳内，从而得到更准确的几何表征，抑制离群噪声，并大幅减少光线遍历范围，降低生成时间。
力反馈与单目3D视频的进展
为提升沉浸感，实验室联合PICO研发力反馈模组，通过双通道低延迟数据传输，震动头部模拟作用力反馈，并能缓解VR眩晕问题。同时，为降低采集成本，团队提出可交互的单目3D视频技术，通过编码器-解码器网络估计深度信息，重建粗糙动态网格，并采用改进的新视角渲染算法，实现低延迟实时传输，带宽为消费级15Mbps。
Q&A
什么是火山引擎多媒体实验室提出的自由视角视频技术？
自由视角视频技术是一种可实时交互的技术，通过多相机阵列采集光场，并使用神经辐射场技术重建三维场景。
神经辐射场技术如何帮助重建三维场景？
神经辐射场技术通过从多视角二维图像中学习，生成三维场景的连续体积表示，并能从任意视角渲染出逼真的三维视图。
火山引擎的直播链路有什么特点？
直播链路实现了低于100毫秒的超低延时切流，确保视角转换的无缝流畅，并增强用户与三维视频内容的互动。
力反馈模组的作用是什么？
力反馈模组通过震动模拟作用力反馈，提升沉浸感，并能缓解VR眩晕问题。
可交互的单目3D视频技术有什么优势？
该技术降低了采集成本，提升了渲染效率，并能生成适合6DoF观看的正确视图。
火山引擎的技术将如何影响日常生活？
这项技术将推动沉浸式媒体技术的普及，使人们在观看电影或虚拟互动时享受到如同亲临其境的体验。
