量子位
·
蜘蛛侠妖娆起舞，下一代ControlNet来了！贾佳亚团队推出，即插即用，还能控制视频生成
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
贾佳亚团队推出了开源图像/视频生成引导工具ControlNeXt，可实现可控生成和视频动作控制。ControlNeXt支持多款SD系模型，训练参数少且收敛速度快。ControlNeXt通过轻量级卷积模块提取控制条件特征，采用交叉归一化对齐数据分布，加快收敛进程。项目主页：https://pbihao.github.io/projects/controlnext/index.html
🎯
关键要点
- 贾佳亚团队推出开源图像/视频生成引导工具ControlNeXt，支持可控生成和视频动作控制。
- ControlNeXt仅需不到10%的训练参数，适配多款Stable Diffusion模型，且即插即用。
- 该工具支持图像生成模型SD1.5、SDXL、SD3及视频生成模型SVD，能够精准控制动作细节。
- ControlNeXt通过轻量级卷积模块提取控制条件特征，显著降低计算开销和内存占用。
- 在训练过程中，ControlNeXt收敛速度快，所需步数远少于ControlNet。
- 交叉归一化是ControlNeXt的核心技术，能加快收敛进程并提高生成效率。
- 项目主页和相关链接提供了更多信息和资源。
🏷️
标签
➡️
