视频生成控制提升几十倍,新一代轻量级ControlNeXt火了,贾佳亚团队正挑战Scaling Law
原文中文,约5400字,阅读约需13分钟。发表于: 。ControlNeXt是一款由思谋科技创始人贾佳亚团队开发的图像和视频生成控制工具,可根据预设条件调整和优化预训练的图像扩散模型,实现线稿生成全彩图,并支持语义分割、边缘检测和人体姿势识别。ControlNeXt只使用ControlNet 10%的训练参数,兼容多款图像和视频生成模型,具有用户友好性。通过轻量级条件控制模块设计和交叉归一化技术的使用,实现了训练参数和计算开销的减少,以及模型训练和推理速度的提升。