有限数量的标量量化:简化 VQ-VAE
原文中文,约300字,阅读约需1分钟。发表于: 。我们提出使用有限数量标量量化(FSQ)替代 VQ-VAEs 中的向量量化(VQ),通过将 VAE 表示投影到少量维度中,并将每个维度量化为固定值的小集合,从而实现离散表示。我们在图像生成中使用 MaskGIT,以及在深度估计、上色和全景分割中使用 UViM,尽管 FSQ 的设计简单,但在这些任务中获得竞争性表现。我们强调 FSQ 不会出现代码本崩溃问题,也不需要复杂的机制来学习表达丰富的离散表示。
该文介绍了一种使用有限数量标量量化(FSQ)替代向量量化(VQ)的方法,实现离散表示。作者在图像生成、深度估计、上色和全景分割等任务中使用了该方法,并获得了竞争性表现。