寡姐带货国风Polo衫，马斯克穿牛仔走红毯！虚拟试衣新框架火了
内容提要
中山大学和Pixocial联合发布了CatVTON，一种轻量化模型架构，实现虚拟试衣功能。该模型简洁高效，只需VAE+UNet两个网络模块，参数量小。通过解锁训练，发现Self Attention是关键模块。CatVTON实现了SOTA的试穿效果，降低了模型的训练和推理计算需求。
延伸解读
轻量化设计如何降低虚拟试衣门槛
CatVTON仅使用VAE和UNet两个网络模块，总参数量899.06M，推理显存低于8G（输出1024×768图像）。相比其他方法，参数量至少缩减44%，显存占用减半甚至更低。这种轻量化架构减少了对额外ReferenceNet和图像编码器的依赖，使虚拟试衣模型更易于在有限计算资源下部署，推动了技术落地。
Self Attention：迁移学习的关键发现
研究通过理论和实验发现，在将预训练扩散模型迁移到虚拟试衣任务时，UNet中的Self Attention模块最为关键。仅微调该模块（49.57M参数，占总参数量5.71%）即可实现逼真试穿效果，且可训练参数量比其它方法减少10倍以上。这一发现为参数高效微调提供了新思路，降低了训练成本。
多任务与多品类支持的实用性
CatVTON支持上衣、裤子、裙子、套装等多种服装品类的换装，并能实现人物A到人物B的换装。无需显式指定类别，仅根据Mask即可完成目标服装试穿，支持单独或全身多件服装同时更换。这种灵活性使其能适应多样化的实际应用场景，如电商展示、虚拟试衣间等。
Q&A
CatVTON模型的主要功能是什么？
CatVTON模型实现了虚拟试衣功能，支持多种服装类型的换装。
CatVTON模型的架构有什么特点？
CatVTON模型架构简洁高效，仅使用VAE和UNet两个网络模块，总参数量为899.06M。
CatVTON如何提高试穿效果？
CatVTON通过Self Attention模块显著提高了模型的试穿效果。
使用CatVTON进行虚拟试衣需要多少时间？
使用CatVTON进行虚拟试衣只需不到30秒的时间。
CatVTON相比其他方法有什么优势？
CatVTON的可训练参数量减少了10倍以上，显存占用也更低，体现了轻量化的优势。
CatVTON的训练过程有什么关键模块？
在训练过程中，Self Attention被确定为关键模块。
