生成扩散模型漫谈（三十一）：预测数据而非噪声
💡
原文中文，约5400字，阅读约需13分钟。
📝
内容提要
LDM（潜在扩散模型）仍然是主流，但高倍压缩导致信息损失。新方法JiT直接预测原始数据，简化模型架构，提升高分辨率生成效果。尽管JiT未显著超越现有SOTA，但降低了计算成本，增强了模型的可迁移性和统一性。
🎯
关键要点
-
LDM（潜在扩散模型）是当前主流的扩散模型，但高倍压缩导致信息损失。
-
新方法JiT（Just image Transformers）直接预测原始数据，简化模型架构，提升高分辨率生成效果。
-
JiT未显著超越现有SOTA，但降低了计算成本，增强了模型的可迁移性和统一性。
-
高分辨率扩散生成存在固有困难，使用相同的Noise Schedule会导致训练效率低下。
-
调整高分辨率扩散模型的Noise Schedule可以提高信噪比，从而改善生成效果。
-
JiT的核心在于预测原始数据而非噪声，降低了低秩瓶颈的影响。
-
JiT未刷新SOTA，但可能降低SOTA的计算成本，提升低分辨率到高分辨率的可迁移性。
-
JiT使视觉理解和生成的架构更为统一，简化了模型设计。
-
JiT的提出基于原始数据处于低维子流形的事实，降低了扩散模型的建模难度。
❓
延伸问答
LDM模型的主要优势是什么？
LDM模型通过高倍压缩显著减少训练与推理的计算成本，同时降低训练难度。
JiT方法与传统扩散模型的主要区别是什么？
JiT方法直接预测原始数据而非噪声，简化了模型架构，降低了低秩瓶颈的影响。
高分辨率扩散生成面临哪些挑战？
高分辨率扩散生成面临训练效率低下和效果不佳的问题，尤其是使用相同的Noise Schedule时。
JiT如何改善模型的可迁移性？
JiT通过降低计算成本和缓解低秩瓶颈，使得低分辨率模型更容易升级为高分辨率模型，从而增强可迁移性。
JiT是否超越了现有的SOTA模型？
JiT未显著超越现有的SOTA模型，但在计算成本上可能有所降低。
JiT的提出基于什么理论？
JiT的提出基于原始数据往往处于低维子流形的事实，这使得预测数据比预测噪声更容易。
➡️
