3D-SSGAN: 二维语义向三维感知组合肖像合成
内容提要
该文综述了多项基于GAN的3D感知人像生成研究：LiftedGAN无需3DMM标注即可分解StyleGAN2潜空间，生成3D形状与纹理；SofGAN将肖像潜空间分离为几何与纹理空间，实现独立可控生成；SideGAN解决侧视角生成问题；PV3D合成多视角一致的肖像视频；3D-FM GAN实现高质量、保身份的可控脸部编辑；另有方法用于人体与室内场景的3D感知图像合成，性能优于现有基准。
延伸解读
从2D生成到3D感知：技术路径的多样性
文章综述的多个方法展示了3D感知人像生成的不同技术路径。LiftedGAN通过可微分渲染器分解StyleGAN2潜空间，无需3DMM标注；SofGAN将潜空间分离为几何与纹理空间；SideGAN则专门解决侧视角生成问题。这些方法表明，实现3D感知并非只有一条路，有的依赖显式3D模型，有的通过潜空间分解和渲染实现，读者可据此理解不同技术选择的权衡。
可控性与身份保持：人像编辑的关键进展
在可控编辑方面，3D-FM GAN结合输入图像与3D编辑的真实渲染，实现了高质量、身份保留的脸部操作；PV3D则通过多运动层和摄像机条件策略，支持多视角一致的肖像视频合成与编辑。这些进展说明，3D感知生成不仅追求逼真度，更注重在姿态、视角变化下保持身份一致性，这对实际应用如虚拟试妆、影视后期具有重要意义。
跨领域扩展：从人脸到人体与室内场景
文章还提及基于3D-SGAN的语义指导模型，利用生成神经辐射场提取人体隐式3D表示，在DeepFashion数据集上优于基准；另有基于深度的双通道生成器用于室内场景合成。这表明3D感知生成技术正从人脸扩展到人体和场景，但不同对象的几何复杂性和数据获取难度不同，实际部署时需考虑领域适应性。
Q&A
LiftedGAN 是如何在不使用 3DMM 标注的情况下生成 3D 形状和纹理的？
LiftedGAN 通过可微分的渲染器分解 StyleGAN2 的潜在空间，无需手动标注或 3DMM 模型训练，即可生成 3D 组件，并输出 3D 形状和纹理，实现内容可控性。
SofGAN 在肖像生成中如何实现几何和纹理的独立控制？
SofGAN 将肖像的潜在空间分解为几何空间和纹理空间，经过实验证明，该系统可以生成高质量肖像图像，并且对几何和纹理属性具有独立可控性。
SideGAN 主要解决了 3D GAN 中的什么问题？
SideGAN 通过将问题拆分为两个子问题，提出了一种新颖的 3D GAN 训练方法，用于生成与相机位置无关的逼真图像，特别适用于侧视角的人脸。
PV3D 如何合成多视角一致的肖像视频？
PV3D 提出了第一种生成性框架，通过添加多个运动层构建运动生成器来引入运动动态，并采用简单有效的摄像机条件策略，从而合成多视角一致的肖像视频，支持动画静态肖像和视角一致的视频运动编辑等下游应用。
3D-FM GAN 在脸部编辑方面有哪些优势？
3D-FM GAN 通过将输入脸部图像和 3D 编辑的真实渲染相结合，提供高质量、身份保留、3D 可控的脸部操作，相较于现有技术，具有更好的可编辑性、更强的身份保护和更高的照片逼真度。
基于 3D-SGAN 的语义指导生成模型如何生成具有照片级真实感的人体图像？
该模型利用生成神经辐射场（GNeRF）提取人体的隐式 3D 表示，并用纹理生成器将语义掩码转换为真实图像，从而为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像，在 DeepFashion 数据集上显著优于最新基准。
