量子位
·
质量无损，算力砍半！达摩院开源视觉生成新架构，出道即SOTA｜ICLR 2025
💡
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
达摩院在ICLR 2025上发布了DyDiT架构，通过智能资源分配将DiT模型的推理算力减少51%，生成速度提升1.73倍，几乎无损生成质量。该架构动态调整计算，解决了传统模型的算力冗余问题，并已开源，适配多种生成任务。
🎯
关键要点
-
达摩院在ICLR 2025上发布DyDiT架构，推理算力减少51%，生成速度提升1.73倍，几乎无损生成质量。
-
DyDiT通过动态调整计算，解决传统模型的算力冗余问题，已开源并适配多种生成任务。
-
DiT架构是主流生成模型，但存在推理效率低和算力冗余的问题。
-
DyDiT根据时间步长和空间区域自适应调整计算分配，提升推理效率并减少计算冗余。
-
DyDiT在多个数据集和生成模型下表现出高稳定性，微调成本低于3%。
-
DyDiT的开源代码已发布，计划适配更多文生图和文生视频模型。
❓
延伸问答
DyDiT架构的主要优势是什么？
DyDiT架构通过智能资源分配将推理算力减少51%，生成速度提升1.73倍，且几乎无损生成质量。
DyDiT是如何解决传统模型的算力冗余问题的？
DyDiT通过动态调整计算，根据时间步长和空间区域自适应分配计算资源，有效缓解算力冗余。
DyDiT的微调成本是多少？
DyDiT的微调成本仅需不到3%。
DyDiT架构适用于哪些生成任务？
DyDiT已开源并适配多种生成任务，包括文生图和文生视频模型。
DyDiT在生成质量上与原模型相比如何？
DyDiT在ImageNet测得的FID得分与原模型几乎相当，分别为2.27和2.07。
达摩院在ICLR 2025上发布了多少篇论文？
达摩院在ICLR 2025上共有13篇论文被录用。
➡️
