量子位
·
比扩散模型快50倍！OpenAI发布多模态模型实时生成进展，作者还是清华校友，把休假总裁Greg都炸出来了
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
OpenAI推出了一种新型多模态模型，生成图像速度比扩散模型快50倍。该模型由两位清华校友研发，采用两步采样，参数规模达到15亿，能在0.11秒内生成样本。研究显示，该模型在多个数据集上表现优异，生成质量接近最佳扩散模型。
🎯
关键要点
- OpenAI推出新型多模态模型，生成图像速度比扩散模型快50倍。
- 该模型由清华校友路橙和宋飏研发，采用两步采样，参数规模达到15亿。
- 模型在512×512分辨率的ImageNet数据集上训练，生成样本时间为0.11秒。
- 研究表明，该模型生成质量接近最佳扩散模型，且计算开销仅为后者的10%。
- 一致性模型是一种快速的扩散模型替代方案，解决了实时应用的效率和可扩展性问题。
- 论文提出TrigFlow框架，统一了扩散模型和流匹配方法，改进了训练稳定性。
- 通过引入恒等时间变换、位置时间嵌入和自适应双重归一化层等技术，提升了模型的训练效果。
- 在多个基准数据集上，该模型表现优异，CIFAR-10上的FID为2.06，ImageNet 64×64为1.48。
- 研究人员发现，随着teacher扩散模型规模的扩大，sCM的改进也呈比例增加。
- 作者路橙和宋飏在生成模型领域有丰富的研究经验，专注于改进生成模型的训练方法和架构设计。
➡️
