基于隐式辐射场的适用于高保真头像视频会议的分辨率无关的神经压缩
内容提要
该文综述了多项神经辐射场（NeRF）视频合成研究，包括：动态实景高质量视图合成与运动插值；通话面孔重建（模型压缩至3MB，iPhone 8实时运行，码率低至几kbits/秒）；HumanRF以4D表示捕获全身动态，配合ActorsHQ数据集实现近制作级新视角合成；网格压缩结合神经码书使存储减少40倍，达180fps实时渲染；ER-NeRF实现对话肖像快速收敛与实时渲染；以及基于OLAT的实时人像重照、自编码器四维光场恢复、音频驱动说话头生成、图像动画视频压缩（较HEVC/VVC增益超70%/30%）和野外视频人体与场景重建等。
延伸解读
神经辐射场视频会议的关键进展
文章综述了多项神经辐射场研究，其中通话面孔重建将模型压缩至约3MB，可在iPhone 8的CPU上实时运行，视频通话码率低至几kbits/秒，比现有替代方案低一个数量级。这显示了神经辐射场在实时视频会议中的潜力，但需注意其依赖发送方提取的面部标志，可能对标志检测的准确性有要求。
动态场景表示与数据集的作用
HumanRF作为一种4D动态神经场景表示，通过分解时空为时间矩阵-向量分解，能从多视角视频中捕获全身外观，并支持新视角播放。新数据集ActorsHQ提供16个序列、160个相机的12MP镜头，助力实现接近制作级的新视角合成。这表明高质量数据对推动动态场景重建至关重要。
压缩与实时渲染的平衡
文章提到网格压缩结合神经码书可使存储减少40倍，并达到180fps的实时渲染速度，同时保持有竞争力的渲染质量。ER-NeRF则实现了对话肖像合成的快速收敛、实时渲染和小型模型。这些进展表明，在神经辐射场应用中，压缩与实时性可以兼顾，但需关注不同方法在具体场景下的适用性。
视频压缩与重建的扩展应用
基于图像动画的视频压缩方法，通过预测编码和图像动画作为预测器，相比HEVC和VVC分别获得超过70%和30%的比特率增益。此外，从野外视频中重建人体和场景的框架，仅需10秒视频即可学习特定主题细节，并支持新视角和新姿势渲染。这些技术拓展了神经辐射场在视频压缩和重建中的应用范围。
Q&A
基于隐式辐射场的神经压缩如何实现高保真头像视频会议？
通过使用发送方提取的面部标志在接收方设备上真实重建面孔，并采用基于SiSiSiiarasdyet.Firdmeodmel法的移动兼容架构，借助SPADE块优化眼睛和嘴唇等重要区域，将网络压缩到约3MB，使模型可在iPhone 8（CPU）上实时运行，视频通话速度低于几kbits/秒。
HumanRF在动态人体重建中有什么优势？
HumanRF是一种4D动态神经场景表示，能捕获多视角视频输入中运动的全身外观，并允许从新的未见视角进行播放。通过分解时空为时间矩阵-向量分解，以高压缩比捕获高分辨率细节，获得长序列的时间上连贯的演员重建，在新颖视角合成方面达到接近于制作水平的品质。
神经码书如何减少神经辐射场模型的存储量？
神经码书是一种新颖的参数化模块，通过快速优化更好地编码每个场景模型的高频细节，利用网格模型固有的代表特性，开发非一致压缩方法显著减少模型复杂性，实现对网格模型存储量超过40倍的减少，同时保持竞争性的渲染质量和180 fps的实时渲染速度。
ER-NeRF在对话肖像合成中有什么特点？
ER-NeRF是一种新型条件神经辐射场架构，用于对话肖像合成，可以同时实现快速收敛、实时渲染和小型模型的最新性能。
基于图像动画的视频压缩方法相比传统方法有哪些提升？
基于图像动画的视频压缩方法通过使用预测编码方案和图像动画作为预测器，以及针对实际目标帧的残差编码，有效提高压缩率，与HEVC和VVC相比可获得超过70%和30%的比特率增益。
如何从野外视频中重建人体和场景并实现新视角渲染？
通过训练两个NeRF模型（human和scene），依赖现有方法估计人体和场景的大致几何形状，从观察空间创建到无关姿态的规范空间的偏移场，在规范空间中训练人体模型。该方法能从仅10秒的视频剪辑中学习特定主题的细节，包括服装褶皱和配件，并提供在新视角和新姿势下人体的高质量渲染和背景。
