蜘蛛侠妖娆起舞，下一代ControlNet来了！贾佳亚团队推出，即插即用，还能控制视频生成
内容提要
贾佳亚团队推出了开源图像/视频生成引导工具ControlNeXt，可实现可控生成和视频动作控制。ControlNeXt支持多款SD系模型，训练参数少且收敛速度快。ControlNeXt通过轻量级卷积模块提取控制条件特征，采用交叉归一化对齐数据分布，加快收敛进程。项目主页：https://pbihao.github.io/projects/controlnext/index.html
延伸解读
轻量化设计如何实现高效控制
ControlNeXt通过移除ControlNet中庞大的控制分支，改用由少量ResNet块组成的轻量级卷积模块来提取控制条件特征。该模块仅需训练不到ControlNet 10%的参数，却能有效学习条件控制信息，显著降低计算开销和内存占用。这种设计在保持控制精度的同时，提升了训练和生成效率。
交叉归一化：加速收敛的关键
ControlNeXt采用交叉归一化技术，直接利用主干网络去噪特征的均值和方差对控制模块输出进行归一化，使数据分布对齐。相比传统的zero-convolution等渐进式初始化策略，交叉归一化避免了参数初始化的敏感性，让控制条件在训练初期就能发挥作用，从而大幅加快收敛速度，减少训练步数。
即插即用与多模型适配的实用性
ControlNeXt支持SD1.5、SDXL、SD3等图像生成模型以及SVD视频生成模型，且无需额外训练即可与LoRA权重无缝集成。其架构与原始模型保持一致，实现了即插即用，方便研究者和开发者快速应用于现有工作流，扩展了可控生成的应用场景。
视频动作控制的精准度与局限
ControlNeXt能够控制视频生成中的人物动作，例如让蜘蛛侠跳TikTok舞蹈，甚至精准到手指细节。然而，文章也提到让椅子长出手跳舞的效果较为抽象，说明在非人形或复杂物体上的动作控制仍存在一定局限，实际应用时需考虑控制条件的适配性。
Q&A
ControlNeXt是什么？
ControlNeXt是贾佳亚团队推出的开源图像/视频生成引导工具，支持可控生成和视频动作控制。
ControlNeXt与ControlNet相比有什么优势？
ControlNeXt需要的训练参数更少，收敛速度更快，生成速度也更快，平均延时显著降低。
ControlNeXt支持哪些模型？
ControlNeXt支持多款Stable Diffusion模型，包括SD1.5、SDXL、SD3及视频生成模型SVD。
ControlNeXt是如何加快收敛速度的？
ControlNeXt通过交叉归一化对齐数据分布，简化条件控制模块，减少了训练参数，从而加快收敛速度。
ControlNeXt如何实现视频动作控制？
ControlNeXt能够精准控制视频中的人物动作，包括细节如手指的动作，支持多种控制模式。
ControlNeXt的项目主页在哪里可以找到？
ControlNeXt的项目主页可以在https://pbihao.github.io/projects/controlnext/index.html找到。
