CosmicMan：一种用于人类的文本到图像基础模型
内容提要
本文介绍了CapHuman和Text2Human等新框架，旨在生成高质量、多样化的人类图像。通过引入三维面部先验和细粒度文本输入，这些方法提升了图像的真实感和多样性。同时，研究探讨了人类中心对齐损失和纹理自适应微调策略，以优化图像合成效果，推动计算机视觉的发展。
延伸解读
技术演进：从2D到3D的人像生成
文章梳理了人像生成领域从2D到3D的技术发展。早期Text2Human（2022年5月）通过分层纹理感知码书生成多样化2D人类图像；随后CapHuman（2024年2月）引入三维面部先验，实现三维一致控制；DreamHuman（2023年6月）则结合文本到图像模型、神经辐射场和统计人体模型，生成动态三维头像。这一演进体现了从静态到动态、从二维到三维的明显趋势。
身份保留与可控生成的关键突破
CapHuman框架通过“编码然后学习对齐”的范例，在推理过程中对新个体实现可泛化的身份保留，并借助三维面部先验实现灵活且三维一致的头部控制。同时，人类中心对齐损失被用于强化文本提示中的人类相关信息，结合比例感知和逐步约束，确保语义详细性和结构准确性。这些方法共同提升了生成肖像的身份保真度和可控性。
评估基准与数据集的推动作用
文章提到了多个评估基准和数据集，如包含50k高保真纹理及文本描述的ATLAS高分辨率3D人体纹理数据集，以及一个多任务基准，该基准在三个难度级别、三个任务、十个提示上进行了人类评估，比较了稳定扩散和DALL-E 2等模型，提供了3,600个评分。这些资源为衡量模型性能和推动领域发展提供了重要基础。
Q&A
CapHuman框架的主要功能是什么？
CapHuman框架通过编码学习对齐，实现对新个体的身份保留，生成高保真肖像。
Text2Human框架如何提高图像质量和多样性？
Text2Human框架利用细粒度文本输入和层次纹理感知码书，生成高质量和多样化的人类图像。
TexDreamer模型的主要创新是什么？
TexDreamer模型通过纹理自适应微调策略，生成高保真度的3D人体纹理。
DreamHuman方法是如何生成三维人物头像的？
DreamHuman方法结合文本到图像合成模型和统计人体模型，生成动态三维人物头像。
文章中提到的多任务基准评估有什么意义？
新的多任务基准评估用于比较不同文本到图像模型的性能，推动计算机视觉的发展。
基于Local Narratives数据集的图像文本生成方法有什么特点？
该方法利用分割掩模实现更好的图像合成效果，提升了生成质量。
