Text2Avatar：基于编码本驱动的身体可控属性的文本生成三维人体化身
内容提要
该文综述文本驱动的3D人物头像生成研究，涵盖Text2Human（分层纹理码书与扩散变换器生成多样人像）、AvatarStudio（结合NeRF与SMPL生成可动画头像）、DreamHuman（融合文本到图像模型、NeRF与人体模型）、DreamAvatar（双空间设计与法线正则提升几何纹理），以及AvatarBooth、GETAvatar等实现个性化、可动画高质量头像的方法。
延伸解读
技术路线：从码本到可动画化身
文章梳理了文本驱动3D人体生成的多种技术路径。Text2Human采用分层纹理感知码本存储多尺度神经表征，并用混合专家扩散变换器采样码本索引，侧重图像多样性与质量。AvatarStudio、DreamHuman、DreamAvatar则结合NeRF与SMPL等统计人体模型，实现可动画的3D化身。这些方法表明，码本与扩散模型、神经辐射场与参数化人体模型的组合是当前实现可控生成的关键手段。
可控性与动画能力的实现方式
在可控性方面，AvatarStudio通过SMPL引导关节活动并引入DensePose的2D扩散模型确保视角一致与姿态可控；DreamAvatar利用SMPL提供粗略姿势和形状指导，并设计规范空间与观察空间的双重空间，由NeRF学习的变形场联系，还添加法线一致性正则化提升几何纹理。GETAvatar则使用显式表面建模的关节式3D人体表示和2D法线图实现细致表面细节。这些设计共同指向对姿态、形状和动画的支持。
个性化与风格化的不同侧重
文章还介绍了侧重个性化与风格化的方法。AvatarBooth可通过文本提示或特定图像生成高质量3D头像，利用双精度扩散模型分别控制头部和身体生成，增强多视图一致性。另有零样本管道通过捕捉用户身份进行个性化头像生成，并利用大规模图像数据集学习3D姿态参数以克服动作捕捉数据的局限。还有方法结合预训练图像文本扩散模型与GAN的3D生成网络，生成高质量风格化3D头像。这些工作显示，文本驱动生成正从通用化向个性化和风格化扩展。
Q&A
Text2Human 是如何实现高质量、多样化的人类图像生成的？
Text2Human 建立了一个分层的纹理感知码书，用于存储不同类型纹理的多尺度神经表征，并使用混合专家的扩散变换采样器采样码书中的索引。通过细粒度文本输入，生成的图像具有更高的质量和多样性。
AvatarStudio 如何生成可动画的 3D 人物头像？
AvatarStudio 首先使用低分辨率的基于 NeRF 的表示进行初步生成，然后结合 SMPL 引导关节活动增加明确的网格表示，支持头像动画和高分辨率渲染。它还引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性。
DreamHuman 方法有哪些特点？
DreamHuman 将大规模文本到图像合成模型、神经辐射场和统计人体模型连接在一起，通过新颖的建模和优化框架产生动态三维人物头像，具有高质量的纹理、实例特定的表面变形和多样化的外观、衣着、肤色和身体形态。
DreamAvatar 如何实现可控姿态的 3D 人类头像生成？
DreamAvatar 使用可训练的 NeRF 生成 3D 点密度和颜色特征，并利用预训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导，并引入包含规范空间和观察空间的双重空间设计，由 NeRF 学习的变形场联系，从规范空间将优化的纹理和几何转移到目标位置头像，添加正常一致性正则化以获得更生动的几何和纹理。
AvatarBooth 如何生成个性化的 3D 头像？
AvatarBooth 通过使用文本提示或特定图像生成高质量的 3D 头像，可以从捕捉的面部或身体图像中创建个性化头像。它利用双精度扩散模型控制头部和身体生成，增强了合成头部图像的多视图一致性，实现了高度逼真的头像生成，具有出色的渲染和几何质量。
GETAvatar 在生成可动画人型化身方面有什么创新？
GETAvatar 使用显式表面建模的关节式 3D 人体表示，并学习自 3D 扫描数据的 2D 法线图以实现细致的表面细节，通过基于光栅化的渲染器实现高分辨率图像生成，从而生成可动画的高质量纹理和几何结构的人型化身。
