生成扩散模型漫谈（三十一）：预测数据而非噪声
💡
原文中文，约5400字，阅读约需13分钟。
📝
内容提要
LDM（潜在扩散模型）仍然是主流，但高倍压缩导致信息损失。新方法JiT直接预测原始数据，简化模型架构，提升高分辨率生成效果。尽管JiT未显著超越现有SOTA，但降低了计算成本，增强了模型的可迁移性和统一性。
🎯
关键要点
- LDM（潜在扩散模型）是当前主流的扩散模型，但高倍压缩导致信息损失。
- 新方法JiT（Just image Transformers）直接预测原始数据，简化模型架构，提升高分辨率生成效果。
- JiT未显著超越现有SOTA，但降低了计算成本，增强了模型的可迁移性和统一性。
- 高分辨率扩散生成存在固有困难，使用相同的Noise Schedule会导致训练效率低下。
- 调整高分辨率扩散模型的Noise Schedule可以提高信噪比，从而改善生成效果。
- JiT的核心在于预测原始数据而非噪声，降低了低秩瓶颈的影响。
- JiT未刷新SOTA，但可能降低SOTA的计算成本，提升低分辨率到高分辨率的可迁移性。
- JiT使视觉理解和生成的架构更为统一，简化了模型设计。
- JiT的提出基于原始数据处于低维子流形的事实，降低了扩散模型的建模难度。
➡️
