“甲方快乐模型”诞生,拿下平面设计新SOTA!多条件一键生成,还能独立调整元素 | 复旦&字节
内容提要
复旦大学与字节跳动联合推出CreatiDesign模型,具备高精度、多模态和可编辑的AI图形设计生成能力。该模型解决了多条件异质信息建模、精细解耦和区域控制等挑战,支持用户输入多个视觉元素和文本,确保设计意图的准确还原。CreatiDesign在多项评估指标上表现优异,显著提升了图形设计的能力与灵活性。
关键要点
-
复旦大学与字节跳动联合推出CreatiDesign模型,具备高精度、多模态和可编辑的AI图形设计生成能力。
-
CreatiDesign解决了多条件异质信息建模、精细解耦和区域控制等挑战,支持用户输入多个视觉元素和文本。
-
该模型在多项评估指标上表现优异,显著提升了图形设计的能力与灵活性。
-
CreatiDesign采用统一多条件控制的扩散Transformer架构,并构建了40万样本的大规模多条件标注数据集。
-
模型面临的挑战包括多条件异质信息的统一建模、精细解耦与区域独立控制的难度,以及缺乏高质量、多标注的训练数据。
-
CreatiDesign通过条件协同、独立可控和全自动流程来解决这些挑战。
-
模型使用MM-DiT框架,实现多种异质条件的协同控制,并采用多模态注意力机制进行深度融合。
-
CreatiDesign提出了Subject Attention Mask和Layout Attention Mask,确保每个条件的独立可控性。
-
模型还实现了全自动的平面设计数据合成流程,生成40万组高质量标注的平面设计样本。
-
在多维度评估基准上,CreatiDesign在多个关键指标上取得领先性能,综合得分高达69.28。
-
CreatiDesign能够严格遵循用户的设计意图,支持多轮编辑,展现出更强的编辑灵活性与保持性。
延伸问答
CreatiDesign模型的主要功能是什么?
CreatiDesign模型具备高精度、多模态和可编辑的AI图形设计生成能力,能够生成各种类型的平面设计图。
CreatiDesign如何解决多条件异质信息建模的挑战?
CreatiDesign通过统一多条件控制的扩散Transformer架构,实现多种异质条件的协同控制,确保每个条件的独立可控性。
CreatiDesign在评估指标上表现如何?
CreatiDesign在多个关键指标上取得领先性能,综合得分高达69.28,显著提升了图形设计的能力与灵活性。
CreatiDesign是如何生成高质量的平面设计样本的?
CreatiDesign通过全自动的平面设计数据合成流程,生成40万组高质量标注的平面设计样本,支持多条件可控模型的训练。
CreatiDesign的多模态注意力机制有什么作用?
多模态注意力机制使不同模态的token进行深度融合,从而实现多条件的联合建模和控制,提升生成结果的一致性与可控性。
CreatiDesign如何支持多轮编辑?
CreatiDesign支持用户在已有设计结果上灵活插入新文本或主体,能够精准编辑指定区域,同时保持非编辑区域的内容不变。