残差量化变分自编码器
内容提要
RQ-VAE通过多级残差量化解决VQ-VAE码本受限和量化误差大的问题：每级量化前级残差，表征容量达K^D，模型规模仅线性增长，并能学习由粗到细的层次语义，广泛用于推荐系统。
延伸解读
RQ-VAE 如何突破 VQ-VAE 的容量瓶颈
VQ-VAE 使用单一码本时，若码本较小，高维嵌入的量化误差会很大，导致不同输入被映射到同一码字，信息损失严重；而增大码本会使模型规模膨胀、训练不稳定且推理困难。RQ-VAE 通过多级残差量化，每级只量化前一级的残差，在码本大小 K 和深度 D 下，有效表征容量达到 K^D，但模型规模仅线性增长为 D×K，从而在有限资源下大幅降低量化误差。
层次语义的由粗到细学习机制
RQ-VAE 的残差量化过程天然形成一种层次结构：第一级量化器捕捉输入的主要成分，后续各级逐步细化，编码前级未能表示的残差信息。这种由粗到细的分解方式与许多语义层次任务吻合，例如动物分类中，第一级可能编码形状、大小等粗特征，后续级则编码毛发纹理、颜色图案等细特征。因此，RQ-VAE 能学习到渐进细化的层次化表征，提升潜在码的表达能力。
RQ 与 PQ 的差异及为何没有 PQ-VAE
残差量化（RQ）与乘积量化（PQ）都是压缩高维向量的技术，但思路不同：RQ 分多阶段量化，每阶段量化前阶段的残差；PQ 则将原向量切分为多个子向量，各自独立量化后拼接。文章指出，PQ-VAE 在数学上等价于使用多个潜在变量、每个变量有独立码本的 VQ-VAE，而 VQ-VAE 的表征能力弱于 RQ-VAE，因此没有单独提出 PQ-VAE 的必要。
推理代价与推荐系统应用
RQ-VAE 的额外推理成本在于潜在表示从单个离散变量变为长度为 D 的离散变量序列，解码时需将各级码字对应的嵌入向量求和。尽管如此，其表征容量和层次语义学习能力使其在推荐系统中被广泛用于将物品编码为语义索引和嵌入，以捕捉物品间的层次化语义关系。
Q&A
RQ-VAE 和 VQ-VAE 的主要区别是什么？
RQ-VAE 在 VQ-VAE 基础上引入多级残差量化，每级量化前一级的残差，从而在码本大小有限时显著降低量化误差，提升表征容量，并能学习由粗到细的层次语义。
RQ-VAE 是如何通过残差量化实现高表征容量的？
RQ-VAE 使用 D 级量化器，每级码本大小为 K，通过逐级量化残差，最终表征容量可达 K^D，而模型规模仅随级数线性增长（DK），避免了 VQ-VAE 需要指数级大码本的问题。
RQ-VAE 为什么能学习到层次化的语义信息？
因为每级量化器只编码前级未表示的残差信息，这自然形成由粗到细的层次：第一级捕捉粗粒度特征（如形状、大小），后续级捕捉细粒度特征（如纹理、颜色、面部细节），从而逐步细化语义表示。
RQ-VAE 在推荐系统中有哪些应用？
RQ-VAE 被广泛用于推荐系统，将物品编码为语义索引和嵌入，利用其层次化表示能力更准确地捕捉物品的多级语义信息。
残差量化（RQ）和乘积量化（PQ）有什么不同？
RQ 将量化过程分解为多个阶段，每阶段量化前阶段的残差；PQ 则将原向量切分为多个子向量，分别用独立码本量化，最后拼接。RQ 能在小码本下实现高表征容量，而 PQ 的 VAE 等价于多隐变量的 VQ-VAE，表征能力不如 RQ-VAE。
RQ-VAE 的推理过程有什么额外开销？
RQ-VAE 的隐表示变为 D 个离散变量的序列，而不是像标准 VQ-VAE 那样的单个离散变量，因此推理时需要处理序列，增加了计算开销。
