RodinHD: 高保真 3D 头像生成与扩散模型
原文中文,约300字,阅读约需1分钟。发表于: 。RodinHD 通过从肖像图像生成高保真度的 3D 头像,在本论文中解决了现有方法无法捕捉复杂细节(如发型)的问题,提出了解决遗忘问题的数据调度策略和权重合并正规化项,通过交叉关注从细粒度的分层表示中优化肖像图像的引导效果,并通过跨注意机制将其注入到 3D 扩散模型的多个层次上,训练于 46K 个头像数据上的模型能够生成具有比以前方法更好的细节并且能够适应真实环境中的肖像输入。
本研究将3D可变模型整合到多视角一致性扩散方法中,提升了生成扩散模型在创建逼真人类头像任务中的质量和功能。实验证明了该方法在新视角合成任务上的性能改进,并实现了面部表情和身体姿势控制的无缝融入。该框架是第一个允许从单一图像创建完全3D一致、可动画和逼真的人类头像的扩散模型。定量和定性评估证明了该方法相对于现有模型的优势。