替代矢量量化的有限标量量化
原文中文,约900字,阅读约需2分钟。发表于: 。离散化表示在现代深度学习中至关重要。矢量 量化 (VQ)已成为一种流行的方法,但存在优化复杂、编码本规模有限等问题。 该文提出了有限标量量化(FSQ)--一种更简单、更有竞争力的替代方法。取代 VQ-VAE 潜在表示中的向量量化(VQ)。 其关键在于: 通过每信道量化构建隐式编码本。我们将表示投射到一个低维空间。通过
该文介绍了一种替代矢量量化的离散化表示方法——有限标量量化(FSQ),通过每信道量化构建隐式编码本,将表示投射到低维空间,实现端到端训练,无需特殊损耗或编码本优化技巧。FSQ在图像生成、分割和深度估计等任务中实现了同等性能,提供了比VQ更简单但功能更强大的替代方案。