少数派
·
当文与图的界限开始模糊：聊聊自回归与扩散模型的「串台」趋势
💡
原文中文，约3200字，阅读约需8分钟。
📝
内容提要
自回归模型适合生成离散信号的文本，而扩散模型更适合处理连续信号的图像。两者的本质差异源于文字和图像的特性。新模型Gemini通过转换技术实现多模态任务，但自回归模型在复杂图像生成上可能存在瓶颈。理解这些技术原理有助于选择合适的方案。
🎯
关键要点
- 自回归模型适合生成离散信号的文本，扩散模型更适合处理连续信号的图像。
- 文字是离散信号，由有限的符号构成，而图像是连续信号，具有无限的特征。
- 自回归模型的生成机制与人类语言生成的逐字预测过程相似。
- 扩散模型模拟图像绘制的渐进细化过程，适合图像生成任务。
- Gemini等新模型通过转换技术实现多模态任务，将连续信号转为离散信号。
- 引入VQ Tokenizer模块后，自回归模型可以更精确地处理图像特征。
- 自回归模型在复杂图像生成上可能遇到瓶颈，尤其在表达美学直觉时。
- 自回归模型在图像分辨率上不及现阶段的扩散模型。
- 自回归模型和扩散模型各有适用领域，可能联合使用，而非相互取代。
❓
延伸问答
自回归模型和扩散模型有什么主要区别？
自回归模型适合生成离散信号的文本，而扩散模型更适合处理连续信号的图像。
为什么自回归模型在复杂图像生成上可能遇到瓶颈？
因为自回归模型在表达美学直觉时，难以用语言精确描述复杂的图像特征。
Gemini模型是如何实现多模态任务的？
Gemini通过引入VQ Tokenizer模块，将连续信号转换为离散信号，从而实现多模态任务。
扩散模型的生成机制是怎样的？
扩散模型模拟图像绘制的渐进细化过程，通过特征的概率分布逐步生成图像。
自回归模型在图像分辨率上与扩散模型相比如何？
自回归模型在图像分辨率上不及现阶段的扩散模型。
为什么文字被视为离散信号而图像是连续信号？
文字由有限的符号构成，属于离散信号；而图像具有无限的特征，属于连续信号。
➡️
