中山大学联合字节跳动智能创作数字人团队提出了一种多模态多参考虚拟试穿框架MMTryon,通过输入多个服装图像及指定穿法的文本指令生成高质量的组合试穿结果。该方案利用服装编码器和多模态注意机制,实现了真实自然的虚拟换装效果,消除了对服装精细分割的依赖。实验证明MMTryon优于现有方法,具有商业潜质与价值。
MMTryon是一个多模态多参考虚拟试衣框架,通过引入新颖的多模态和多参考注意机制解决多个试穿物品和定制穿着风格的问题。它使用无解析的服装编码器和新颖的可扩展数据生成流水线来消除对分割的依赖。实验证明了MMTryon在定性和定量方面相对于现有技术的卓越表现,为时尚界探索多物品和可控风格虚拟试衣场景打开新的研究方向。
完成下面两步后,将自动完成登录并继续当前操作。