RealisHuman：用于修复生成图像中畸形人类部分的两阶段方法
内容提要
本文介绍了多种生成3D人脸和人体图像的新方法，主要包括生成对抗网络（GAN）和潜在扩散模型。研究通过改进模型和数据集，提高了生成图像的质量和真实感，尤其在姿势和手部细节控制方面。实验结果显示，这些方法在生成准确性和图像质量上优于现有技术。
延伸解读
技术演进：从GAN到扩散模型的融合
文章梳理了2019年至2024年人体图像生成的技术路线，早期方法依赖GAN生成人脸几何与纹理，随后出现组合多个GAN生成全身人像、从2D图像生成3D人物等方案。2023年后，潜在扩散模型逐渐成为主流，如通过法线贴图微调文本到图像模型、建立HumanVerse数据集和HyperHuman方法，以及整合3D可变模型与多视角一致性扩散，实现更可控、逼真的3D人体生成。
手部与姿势控制的专门优化
针对人体生成中手部细节和姿势控制的难点，文章介绍了两种针对性方案。一是将生成过程分为手部生成和身体绘制两阶段，并在第二阶段使用改进的ControlNet和混合技术保留手部细节，在HaGRID数据集上验证了姿势准确性和图像质量的提升。二是提出基于扩散的手部细化框架RHanDS，利用解耦的结构和风格引导优化手部区域，有效改善手部结构和风格一致性问题。
数据集与评估方法的支撑作用
文章提到多个方法依赖大规模数据集和系统评估。例如，HumanVerse数据集结合深度学习模型和结构引导生成器，支撑了HyperHuman方法生成真实自然的人体图像；UnitedHuman框架使用多源数据集和连续生成对抗网络解决高分辨率问题。评估方面，除了定量指标，还采用用户研究、消融实验以及在新视角和新表情合成任务上的对比，以验证方法相对于现有技术的优势。
Q&A
RealisHuman方法的主要创新点是什么？
RealisHuman方法通过将生成过程分为手的生成和身体绘制两个阶段，显著提高了手部细节和姿势控制的准确性。
如何从2D图像生成3D人物？
通过使用多个辨别器和2D法线图训练模型，可以从2D图像生成逼真的3D人物，性能超过以前的方法。
UnitedHuman框架解决了什么问题？
UnitedHuman框架解决了人体生成中的高分辨率问题，提高了生成图像的质量。
HyperHuman方法的核心内容是什么？
HyperHuman方法结合深度学习模型和结构引导生成器，利用大规模人体数据集HumanVerse生成真实自然的人体图像。
RHanDS框架的主要作用是什么？
RHanDS框架通过条件扩散技术改善手部结构和风格一致性问题，有效优化手部区域。
新型潜在扩散模型在生成图像中有什么优势？
新型潜在扩散模型允许对人脸的每个语义部分进行精确控制，提升了生成图像的质量和多样性。
