炒菜、雕刻、绘画、汽车人变形！MakeAnything用扩散Transformer解锁多任务过程生成

新加坡国立大学的MakeAnything项目利用Diffusion Transformer和非对称LoRA技术，实现高质量的程序化序列生成。

MakeAnything解决了步骤逻辑、外观一致性和数据瓶颈等问题，展现出良好的泛化能力。

项目团队包括研究生成式AI的博士生和本科生，具有丰富的相关经验。

生成步骤教程面临多任务数据稀缺、步骤间逻辑连贯性不足和跨领域泛化能力有限的挑战。

MakeAnything构建了最大规模的多领域数据集，涵盖21类任务，包含超过24,000条标注序列。

通过激活DiT的上下文能力，确保生成结果的逻辑连贯性和外观一致性。

非对称LoRA设计平衡通用知识与领域特性，显著提升跨任务泛化能力。

采用扩散Transformer（DiT）作为基础模型，通过蛇形序列布局强化模型对步骤顺序的感知。

ReCraft模型引入图像条件，利用变分自编码器（VAE）确保生成的中间帧与目标图像一致。

MakeAnything在未见过的任务上也展现出一定的泛化性能，能够处理不同类型的雕刻和绘画。

评估生成结果的连贯性和有用性采用CLIP Score和GPT4-o进行。

实验结果显示MakeAnything在图文一致性、逻辑连贯性和有用性上领先于其他方法。

不对称LoRA的消融实验表明其在小数据集上有效缓解过拟合问题。

MakeAnything标志着AI从“生成结果”迈向“生成过程”的关键一步，期待更多开发者探索过程生成的可能性。