量子位
·
360AI推出DiT架构下”省钱版”ControlNet, 参数量骤减85%性能达到SOTA！
💡
原文中文，约3200字，阅读约需8分钟。
📝
内容提要
360AI推出了新一代高效可控生成框架RelaCtrl，参数量减少85%，性能超越OminiControl。该框架优化了Diffusion Transformer的控制信号集成，提升了计算资源分配效率，实验结果显示生成质量和控制精度均表现优异。
🎯
关键要点
- 360AI推出新一代高效可控生成框架RelaCtrl，参数量减少85%，性能超越OminiControl。
- RelaCtrl优化了Diffusion Transformer的控制信号集成，提升计算资源分配效率。
- 现有可控Diffusion Transformer方法存在参数和计算开销大、控制信息相关性忽视的问题。
- 研究团队提出基于相关性引导的高效可控生成框架，通过精确参数分配和控制策略减少模型参数。
- RelaCtrl选择11个关键控制位置用于集成控制模块，实现与PixArt-δ相当的控制性能。
- 引入相关性引导轻量级控制块（RGLC），简化架构并提高效率。
- 提出二维shuffle混合器（TDSM），增强token组之间的交互和建模能力。
- 实验结果表明RelaCtrl在视觉效果、控制指标和文本相似度上均优于对比方法。
- RelaCtrl在参数和计算复杂度上显著低于ControlNet，表现出更高的效率。
- RelaCtrl兼容通过Lora微调的PixArt权重，能够有效利用社区模型。
➡️
