量子位
·
质量无损，算力砍半！达摩院开源视觉生成新架构，出道即SOTA｜ICLR 2025
内容提要
达摩院在ICLR 2025上发布了DyDiT架构，通过智能资源分配将DiT模型的推理算力减少51%，生成速度提升1.73倍，几乎无损生成质量。该架构动态调整计算，解决了传统模型的算力冗余问题，并已开源，适配多种生成任务。
关键要点
-
达摩院在ICLR 2025上发布DyDiT架构，推理算力减少51%，生成速度提升1.73倍，几乎无损生成质量。
-
DyDiT通过动态调整计算，解决传统模型的算力冗余问题，已开源并适配多种生成任务。
-
DiT架构是主流生成模型，但存在推理效率低和算力冗余的问题。
-
DyDiT根据时间步长和空间区域自适应调整计算分配，提升推理效率并减少计算冗余。
-
DyDiT在多个数据集和生成模型下表现出高稳定性，微调成本低于3%。
-
DyDiT的开源代码已发布，计划适配更多文生图和文生视频模型。
延伸解读
动态调整的优势
DyDiT架构通过动态调整计算资源，解决了传统生成模型的算力冗余问题。这种灵活性使得用户能够根据具体需求优化计算量，提升了模型的适用性和效率，尤其在资源受限的环境中表现尤为突出。
开源的影响
DyDiT的开源不仅促进了学术界的研究，还为开发者提供了一个高效的工具，能够在多种生成任务中应用。这一举措可能加速生成式AI的普及，推动更多创新应用的出现，值得关注其后续发展。
微调成本的优势
DyDiT在微调时仅需不到3%的成本，这一特性使得模型的部署和应用更加经济高效。相比于其他模型，用户可以在保持生成质量的同时，显著降低资源消耗，提升整体的使用体验。
延伸问答
DyDiT架构的主要优势是什么？
DyDiT架构通过智能资源分配将推理算力减少51%，生成速度提升1.73倍，且几乎无损生成质量。
DyDiT是如何解决传统模型的算力冗余问题的？
DyDiT通过动态调整计算，根据时间步长和空间区域自适应分配计算资源，有效缓解算力冗余。
DyDiT的微调成本是多少？
DyDiT的微调成本仅需不到3%。
DyDiT架构适用于哪些生成任务？
DyDiT已开源并适配多种生成任务，包括文生图和文生视频模型。
DyDiT在生成质量上与原模型相比如何？
DyDiT在ImageNet测得的FID得分与原模型几乎相当，分别为2.27和2.07。
达摩院在ICLR 2025上发布了多少篇论文？
达摩院在ICLR 2025上共有13篇论文被录用。
