基于单张图像的实时三维感知肖像编辑
内容提要
该文综述了面部图像生成与编辑领域的多项研究，包括3D语义感知生成、InstructPix2NeRF三维人像编辑、无优化面部识别编码器、文本提示3D肖像合成、个性化视频先验动态人像、r-FACE面部组件编辑、FENeRF、Myportrait神经画廊、Real3D-Portrait及StyleRig姿态表情光照编辑等，这些方法均能实现高质量、一致且可控的人像生成。
延伸解读
技术演进：从单图到动态肖像
文章梳理了2020至2024年间多项研究，展示了单张图像三维肖像编辑的技术演进。早期工作如StyleRig（2020）和FENeRF（2021）侧重静态肖像的编辑与生成，而近期研究如InstructPix2NeRF（2023）和Real3D-Portrait（2024）则实现了动态、可动画的肖像合成。这一趋势表明，领域正从基础生成向高质量、可控且支持实时交互的方向发展。
核心挑战：身份一致性与编辑可控性
多篇论文都致力于解决身份保留与编辑控制的平衡问题。例如，InstructPix2NeRF通过身份一致性模块增强多视角身份一致性；无优化面部识别编码器则专注于在条件图像中保留面部标识符。这些方法表明，在实现多样化编辑（如表情、姿态、风格）的同时，保持人物身份不变是三维肖像编辑的关键挑战。
应用前景：实时与个性化
文章提到的方法支持实时在线版本和高质量离线版本，如Myportrait框架。Real3D-Portrait还能生成具有自然躯干运动和可切换背景的逼真视频，并支持音频驱动。这些进展预示着三维肖像编辑在虚拟社交、在线会议、游戏等领域的应用潜力，能够为用户提供个性化、动态的虚拟形象。
Q&A
InstructPix2NeRF 是什么？它有什么特点？
InstructPix2NeRF 是一个端到端扩散型框架，用于对单个开放世界图像进行人类指导的三维感知人像编辑。它实现了多语义编辑，保存了人像身份信息，并通过身份一致性模块增强了多视角三维身份的一致性。
如何利用文本提示合成 3D 肖像风格？
提出了一种利用文本提示来指定风格的快速 3D 肖像合成框架。该方法借助生成先验构建少量样本，采用目标样式替换预训练 3D 生成器的三层平面生成器，从而实现高质量和一致性的风格合成。
r-FACE 框架能做什么？
r-FACE 是一个用于多样化和可控的面部组件编辑的新框架。它利用参考图像控制面部组件的形状，并通过设计示例引导的注意模块来聚焦目标面部组件的重点进行目标编辑。
Myportrait 神经画廊生成框架有什么功能？
Myportrait 是一个简单、通用且灵活的神经画廊生成框架，在单目视频中加入个性化先验和三维人脸形变空间的可变先验，在新的可控参数下生成个性化细节。它支持基于视频和基于音频的面部动画，并提供实时在线版本和高质量离线版本。
Real3D-Portrait 如何实现逼真的说话肖像视频生成？
Real3D-Portrait 通过使用大型图像到平面模型和高效的运动适配器，改进了一次性 3D 重建的能力，实现了精确的运动条件动画，并利用头-躯干-背景超分辨率模型生成具有自然躯干运动和可切换背景的逼真视频，同时支持一次性以音频驱动的说话脸生成。
StyleRig 如何编辑肖像的头部姿态、表情和光照？
StyleRig 是一种基于 StyleGAN 的新方法，将真实肖像图片嵌入潜空间，从而提供对肖像图像头部姿态、面部表情和场景照明的直观编辑。它通过一个预训练的神经网络来实现参数空间中的语义编辑，并设计了一种新的分层非线性优化问题来获得嵌入，同时添加了身份保护能量项以保持面部完整性和空间连贯性。
