量子位
·
360AI推出DiT架构下”省钱版”ControlNet, 参数量骤减85%性能达到SOTA！
内容提要
360AI推出了新一代高效可控生成框架RelaCtrl，参数量减少85%，性能超越OminiControl。该框架优化了Diffusion Transformer的控制信号集成，提升了计算资源分配效率，实验结果显示生成质量和控制精度均表现优异。
关键要点
-
360AI推出新一代高效可控生成框架RelaCtrl，参数量减少85%，性能超越OminiControl。
-
RelaCtrl优化了Diffusion Transformer的控制信号集成，提升计算资源分配效率。
-
现有可控Diffusion Transformer方法存在参数和计算开销大、控制信息相关性忽视的问题。
-
研究团队提出基于相关性引导的高效可控生成框架，通过精确参数分配和控制策略减少模型参数。
-
RelaCtrl选择11个关键控制位置用于集成控制模块，实现与PixArt-δ相当的控制性能。
-
引入相关性引导轻量级控制块（RGLC），简化架构并提高效率。
-
提出二维shuffle混合器（TDSM），增强token组之间的交互和建模能力。
-
实验结果表明RelaCtrl在视觉效果、控制指标和文本相似度上均优于对比方法。
-
RelaCtrl在参数和计算复杂度上显著低于ControlNet，表现出更高的效率。
-
RelaCtrl兼容通过Lora微调的PixArt权重，能够有效利用社区模型。
延伸问答
RelaCtrl框架的主要优势是什么？
RelaCtrl框架的主要优势在于参数量减少85%，性能超越OminiControl，同时优化了Diffusion Transformer的控制信号集成，提升了计算资源分配效率。
RelaCtrl是如何优化Diffusion Transformer的控制信号的？
RelaCtrl通过精确的参数分配和控制策略，结合轻量化设计的控制模块，优化了Diffusion Transformer中的控制信号集成。
RelaCtrl在生成质量和控制精度上表现如何？
实验结果表明，RelaCtrl在视觉效果、控制指标和文本相似度上均优于对比方法，表现出更高的生成质量和控制精度。
RelaCtrl如何解决现有可控Diffusion Transformer方法的缺陷？
RelaCtrl通过引入相关性引导的高效可控生成框架，解决了参数和计算开销大、控制信息相关性忽视的问题。
RelaCtrl的计算复杂度与ControlNet相比如何？
RelaCtrl在参数和计算复杂度上显著低于ControlNet，表现出更高的效率，参数增加仅为7.38%，计算复杂度增加8.61%。
RelaCtrl是否兼容社区模型？
是的，RelaCtrl可以有效利用通过Lora微调的PixArt权重，展示出良好的兼容能力。
