VQVAE是一种无监督学习的离散表征方法，结合了自回归模型和生成模型的优点。通过设计离散字典和直通估计器，VQVAE有效建模离散数据，核心在于向量量化和EMA更新字典，支持多尺度特征提取，提升生成效果。

本文介绍了一种基于T2I模型的颜色转换模型，该模型利用颜色先验知识和敏感性感知的VQVAE模型生成与灰度图像视觉语义匹配的颜色结果。该模型在感知质量方面达到了最先进的性能。

德国海德堡大学IWR团队发表了整合VQVAE和GAN的VQGAN模型，使用Transformer合成高分辨率图像，并提供了代码实现。