量子位
·
蜘蛛侠妖娆起舞，下一代ControlNet来了！贾佳亚团队推出，即插即用，还能控制视频生成
内容提要
贾佳亚团队推出了开源图像/视频生成引导工具ControlNeXt，可实现可控生成和视频动作控制。ControlNeXt支持多款SD系模型，训练参数少且收敛速度快。ControlNeXt通过轻量级卷积模块提取控制条件特征，采用交叉归一化对齐数据分布，加快收敛进程。项目主页：https://pbihao.github.io/projects/controlnext/index.html
关键要点
-
贾佳亚团队推出开源图像/视频生成引导工具ControlNeXt，支持可控生成和视频动作控制。
-
ControlNeXt仅需不到10%的训练参数，适配多款Stable Diffusion模型，且即插即用。
-
该工具支持图像生成模型SD1.5、SDXL、SD3及视频生成模型SVD，能够精准控制动作细节。
-
ControlNeXt通过轻量级卷积模块提取控制条件特征，显著降低计算开销和内存占用。
-
在训练过程中，ControlNeXt收敛速度快，所需步数远少于ControlNet。
-
交叉归一化是ControlNeXt的核心技术，能加快收敛进程并提高生成效率。
-
项目主页和相关链接提供了更多信息和资源。
延伸问答
ControlNeXt是什么？
ControlNeXt是贾佳亚团队推出的开源图像/视频生成引导工具，支持可控生成和视频动作控制。
ControlNeXt与ControlNet相比有什么优势？
ControlNeXt需要的训练参数更少，收敛速度更快，生成速度也更快，平均延时显著降低。
ControlNeXt支持哪些模型？
ControlNeXt支持多款Stable Diffusion模型，包括SD1.5、SDXL、SD3及视频生成模型SVD。
ControlNeXt是如何加快收敛速度的？
ControlNeXt通过交叉归一化对齐数据分布，简化条件控制模块，减少了训练参数，从而加快收敛速度。
ControlNeXt如何实现视频动作控制？
ControlNeXt能够精准控制视频中的人物动作，包括细节如手指的动作，支持多种控制模式。
ControlNeXt的项目主页在哪里可以找到？
ControlNeXt的项目主页可以在https://pbihao.github.io/projects/controlnext/index.html找到。
