DivAvatar: 利用单个提示生成多样化的 3D 角色模型
内容提要
本文综述文本与姿态引导的3D头像生成研究，介绍了DreamAvatar（结合NeRF与扩散模型实现可控姿态生成）、AvatarStudio（先生成低分辨率表示再增网格，支持动画与高分辨率渲染）、UltrAvatar（提升几何与PBR材质真实感）以及AvatarVerse（仅凭文本和姿态生成高质量3D头像）。
延伸解读
技术路线：扩散模型与3D生成网络的结合
文章指出，当前文本与姿态引导的3D头像生成主要依赖预训练的图像文本扩散模型提供2D先验，再结合3D生成网络（如NeRF或GAN）构建三维表示。DreamAvatar、AvatarStudio等方法均采用这一思路，利用扩散模型的自监督信号优化3D几何与纹理。这种组合能提升生成质量，但依赖2D先验的准确性，若先验偏差可能导致3D结果失真。
方法演进：从DreamAvatar到AvatarVerse
文章梳理了多个代表性工作：DreamAvatar通过双重空间设计和SMPL引导实现可控姿态；AvatarStudio采用低分辨率NeRF初步生成再增加网格，支持动画与高分辨率渲染；UltrAvatar增强几何与PBR材质真实感；AvatarVerse仅凭文本和姿态生成高质量头像。这些方法逐步解决了姿态控制、动画支持、材质真实感等挑战，但均未完全消除对姿态先验的依赖。
应用潜力与当前局限
基于文本和姿态生成3D头像可应用于虚拟角色创作、游戏、社交等场景。AvatarStudio支持多模态动画和风格引导，UltrAvatar注重物理渲染效果，显示出多样化应用可能。然而，文章提到生成过程仍受限于扩散模型的多视图一致性、计算成本以及姿态估计的准确性，且多数方法需要SMPL等模型提供粗略指导，难以完全脱离先验实现自由生成。
Q&A
DreamAvatar 是如何实现可控姿态的 3D 头像生成的？
DreamAvatar 使用可训练的 NeRF 生成 3D 点密度和颜色特征，并利用预训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导，并引入包含规范空间和观察空间的双重空间设计，由 NeRF 学习的变形场联系，从规范空间将优化的纹理和几何转移到目标位置头像，同时添加正常一致性正则化以获得更生动的几何和纹理。
AvatarStudio 如何生成高质量且可动画的 3D 人物头像？
AvatarStudio 首先使用低分辨率的基于 NeRF 的表示进行初步生成，然后结合 SMPL 引导关节活动增加明确的网格表示，并支持头像动画和高分辨率渲染。在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性。
UltrAvatar 在 3D 人物生成方面有什么改进？
UltrAvatar 通过增强几何保真度和质感材质的质量来生成更真实且具有物理基础渲染（PBR）效果的 3D 人物模型，克服了光照影响和获得更多面部细节的挑战，并在实验中展示了该方法的有效性和鲁棒性。
AvatarVerse 能仅通过文本和姿势生成 3D 头像吗？
是的，AvatarVerse 是一个稳定的流水线，可以仅仅通过文本描述和姿势指导生成富有表达力和高质量的 3D 头像。
这些 3D 头像生成方法在多样性方面表现如何？
文章提到，提出的新方法在视觉质量和多样性方面优于现有最先进的方法。此外，通过文本反转增强文本提示可以提高文本到 3D 合成的多样性。
有哪些方法可以提升 3D 头像生成的精度和多样性？
文章提到，基于 3D 可塑模型（3DMM）的文本引导头部生成方法利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理，以提高 3D 头部生成的精度和多样性。另外，通过文本反转增强文本提示也可以提高文本到 3D 合成的多样性。
