量子位
·
突破瓶颈！北航ETH等首次将扩散模型完全量化至1bit，28倍存储节省+52.7倍效率提升
💡
原文中文，约7900字，阅读约需19分钟。
📝
内容提要
北航与ETH等研究团队提出的BiDM方法将扩散模型完全量化至1比特，存储效率提升28倍，操作效率提升52.7倍。通过时间步友好的二值结构和空间分块蒸馏，BiDM在多个数据集上超越现有技术，特别是在LSUN-Bedrooms数据集上，FID分数降至22.74，显示出其在低资源场景中的应用潜力。
🎯
关键要点
- 北航与ETH等研究团队提出BiDM方法，将扩散模型完全量化至1比特。
- BiDM方法实现存储效率提升28倍，操作效率提升52.7倍。
- BiDM通过时间步友好的二值结构和空间分块蒸馏优化扩散模型。
- 在LSUN-Bedrooms数据集上，BiDM的FID分数降至22.74，超越现有技术。
- 现有扩散模型的1位量化主要集中在权重，未能完全二值化。
- BiDM通过完全二值化权重和激活，克服了扩散模型的压缩和加速挑战。
- BiDM包含时间步友好二值结构（TBS）和空间分块蒸馏（SPD）两项创新技术。
- TBS通过可学习的激活二值化器和跨时间步特征连接增强模型表示能力。
- SPD通过将特征划分为小块并计算空间自注意力，优化二值扩散模型。
- BiDM在多个数据集上表现优异，特别是在LSUN-Bedrooms和CIFAR-10数据集上。
➡️
