4K4DGen：4K 分辨率下的全景 4D 生成
内容提要
本文介绍了一种文本转3D 360度场景生成流水线，利用2D扩散模型创建高质量全景图像，并通过粒子技术提升至3D，构建空间连贯的点云，解决单视角输入的不可见问题，提供一致的360度视角，增强沉浸体验。此外，提出了4K4D和360DVD等新方法，显著提升了渲染速度和质量，适用于动态场景生成和全景视频制作。
延伸解读
技术路径：从2D全景到3D高斯
该流水线先利用2D扩散模型生成高质量全景图像，作为“平面”场景表示，再通过粒子技术提升为3D高斯函数，实现实时浏览。为构建空间连贯的3D几何，将2D单目深度对齐成全局优化点云，作为高斯函数的初始质心。针对单视角输入的不可见区域，应用语义和几何约束指导优化，从而重建缺失部分，提供全局一致的360度视角。
性能突破：4K4D实现高分辨率实时渲染
4K4D方法使用4D点云表示，通过可变深度剥离算法从RGB视频中学习模型。实验表明，在1080p分辨率下能以400 FPS渲染DNA-Rendering数据集，在4K分辨率下以80 FPS渲染ENeRF-Outdoor数据集，速度是之前方法的30倍，同时达到最先进的渲染质量。这为高分辨率动态场景的实时视图合成提供了可行方案。
全景视频生成：360DVD与PanoDiff
360DVD是一种可控全景视频生成方法，通过引入360-Adapter轻量级模块和辅助增强技术，将预训练文本到视频模型转化为全景视频生成器，并提出了WEB360数据集进行训练。PanoDiff则利用未注册的窄视场图像高效生成完整360°全景图，包含两阶段角度预测和潜在扩散生成模型，实现了最先进的全景生成质量和高可控性，适用于内容编辑等应用。
动态场景生成新标准与4D理解
一项研究提出利用视频生成模型摒弃对多视图生成模型的依赖，生成具有增强逼真度和结构完整性的动态场景，可从多个角度查看，为4D场景生成树立新标准。PSG-4D表示方法桥接原始视觉数据和高层次理解，构建了富注释数据集，并提出了PSG4DFormer模型，可预测全景分割掩码、跟踪掩码并生成场景图，为动态场景理解提供基准。
Q&A
4K4D方法的主要优势是什么？
4K4D方法实现高分辨率、实时的视图合成，显著提升渲染速度和质量，能够在4K分辨率下以80 FPS的速度渲染。
如何通过PanoDiff方法生成360°全景图？
PanoDiff方法使用一个或多个未注册的窄视场图像，通过两阶段的角度预测模块和基于潜在扩散的全景生成模型高效生成完整的360°全景图。
360DVD方法是如何生成全景视频的？
360DVD方法通过引入轻量级模块和辅助技术，将预训练的文字到视频模型转化为生成全景视频的模型，具有卓越的效果。
本文提出的动态场景生成流程有什么创新？
该流程使用视频生成模型，摒弃了对多视图生成模型的依赖，提升了动态场景的逼真度和结构完整性。
Dream360框架的主要功能是什么？
Dream360框架能够从用户选择的视口生成多样、高保真、高分辨率的全景图，考虑了360图像的球面特性。
如何解决单视角输入的不可见问题？
通过对合成和输入相机视图应用语义和几何约束，指导高斯函数的优化，帮助重建不可见的区域。
