量子位
·
寡姐带货国风Polo衫，马斯克穿牛仔走红毯！虚拟试衣新框架火了
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
中山大学和Pixocial联合发布了CatVTON，一种轻量化模型架构，实现虚拟试衣功能。该模型简洁高效，只需VAE+UNet两个网络模块，参数量小。通过解锁训练，发现Self Attention是关键模块。CatVTON实现了SOTA的试穿效果，降低了模型的训练和推理计算需求。
🎯
关键要点
- 中山大学和Pixocial联合发布了轻量化模型架构CatVTON，实现虚拟试衣功能。
- CatVTON只需两张图像，生成时间不到30秒，支持多种服装类型的换装。
- 模型架构简洁高效，仅使用VAE和UNet两个网络模块，总参数量为899.06M。
- CatVTON通过拼接人物和服装在通道维度，避免了对额外ReferenceNet的依赖，降低了计算负担。
- 在训练过程中，Self Attention被确定为关键模块，显著提高了模型的试穿效果。
- CatVTON的可训练参数量减少了10倍以上，相较于其他方法，显存占用也更低。
- 该模型集成了多任务和多品类的虚拟试衣功能，降低了训练和推理计算需求，推动了虚拟试衣技术的应用。
➡️
