生成扩散模型漫谈（三十一）：预测数据而非噪声
💡
原文中文，约5400字，阅读约需13分钟。
📝
内容提要
LDM（潜在扩散模型）仍然是主流，但高倍压缩导致信息损失。新方法JiT直接预测原始数据，简化模型架构，提升高分辨率生成效果。尽管JiT未显著超越现有SOTA，但降低了计算成本，增强了模型的可迁移性和统一性。
🎯
关键要点
- LDM（潜在扩散模型）是当前主流的扩散模型，但高倍压缩导致信息损失。
- 新方法JiT（Just image Transformers）直接预测原始数据，简化模型架构，提升高分辨率生成效果。
- JiT未显著超越现有SOTA，但降低了计算成本，增强了模型的可迁移性和统一性。
- 高分辨率扩散生成存在固有困难，使用相同的Noise Schedule会导致训练效率低下。
- 调整高分辨率扩散模型的Noise Schedule可以提高信噪比，从而改善生成效果。
- JiT的核心在于预测原始数据而非噪声，降低了低秩瓶颈的影响。
- JiT未刷新SOTA，但可能降低SOTA的计算成本，提升低分辨率到高分辨率的可迁移性。
- JiT使视觉理解和生成的架构更为统一，简化了模型设计。
- JiT的提出基于原始数据处于低维子流形的事实，降低了扩散模型的建模难度。
❓
延伸问答
什么是JiT模型，它的主要特点是什么？
JiT（Just image Transformers）模型是一种新方法，它直接预测原始数据而非噪声，简化了扩散模型架构，并提升了高分辨率生成效果。
LDM模型的主要优势和劣势是什么？
LDM（潜在扩散模型）能显著降低计算成本和训练难度，但高倍压缩导致信息损失。
JiT模型如何改善高分辨率生成的效果？
JiT通过调整高分辨率扩散模型的Noise Schedule，提高信噪比，从而改善生成效果。
JiT模型与现有SOTA模型相比有什么不同？
尽管JiT未显著超越现有SOTA，但它降低了计算成本，并增强了从低分辨率到高分辨率的可迁移性。
JiT模型的提出基于什么理论？
JiT模型的提出基于原始数据往往处于低维子流形的事实，这使得预测数据比预测噪声更容易。
JiT模型在视觉理解和生成方面有什么影响？
JiT使视觉理解和生成的架构更为统一，简化了模型设计，有助于多模态模型的开发。
➡️
