中山大学联合字节智创数字人团队提出MMTryon虚拟试穿框架，效果优于现有SOTA
内容提要
中山大学联合字节跳动智能创作数字人团队提出了一种多模态多参考虚拟试穿框架MMTryon，通过输入多个服装图像及指定穿法的文本指令生成高质量的组合试穿结果。该方案利用服装编码器和多模态注意机制，实现了真实自然的虚拟换装效果，消除了对服装精细分割的依赖。实验证明MMTryon优于现有方法，具有商业潜质与价值。
延伸解读
技术突破：摆脱分割依赖
传统虚拟试穿方法严重依赖服装分割模型来识别试穿区域，分割错误会导致试穿结果出现伪影。MMTryon通过预训练服装编码器，利用文本查询激活对应区域特征，在推理阶段无需任何分割，仅凭文本和多张服装参考图即可生成高质量换装效果，提升了复杂场景下的鲁棒性。
数据策略：低成本构建百万增强集
组合换装需要多件服装搭配的配对图像，但这类数据采集成本高昂。研究团队提出基于大模型的数据扩增模式，利用视觉语言模型和Grouding DINO+SAM获取区域掩码，保护上衣或下衣区域，再用Stable Diffusion XL重绘其余内容，构建了100万增强数据集，与90万原始数据共同训练，有效缓解了数据稀缺问题。
性能验证：复杂场景下超越SOTA
在开源数据集和复杂场景测试中，MMTryon在定性和定量指标上均优于现有SOTA方法。人类评估显示，在包含女装、男装及非服装图片的复杂场景中，15位参与者更偏好MMTryon的结果，其效果超越了社区模型Outfit Anyone，证明了该框架在实际应用中的优越性和商业潜质。
Q&A
MMTryon虚拟试穿框架的主要功能是什么？
MMTryon框架通过输入多个服装图像和文本指令生成高质量的组合试穿结果，支持多样的试穿风格。
MMTryon如何消除对服装精细分割的依赖？
MMTryon利用强大的服装编码器和多模态注意机制，能够通过文本指令选择服装，而无需依赖精细分割。
MMTryon在实验中表现如何？
在复杂场景下的实验中，MMTryon优于现有方法，获得更高的用户评价和量化指标。
MMTryon的商业潜力如何？
MMTryon具有较高的商业潜质与价值，适用于特效和电商等多个场景。
MMTryon是如何构建增强数据集的？
研究团队设计了基于大模型的数据增强模式，构建了100万的增强数据集，以支持组合换装训练。
MMTryon的技术团队背景是什么？
MMTryon的技术团队是字节跳动的智能创作团队，专注于计算机视觉和智能生成技术，支持多个产品线。
