向量量化与乘积量化
内容提要
向量量化通过码本和索引压缩高维数据，码本由K-Means训练，索引用k位表示，压缩比高但精度受码本大小限制。乘积量化将向量分割为子向量，分别量化，牺牲压缩比换取精度控制，码本存储不变，索引存储增加N倍。两者适用于数据转移瓶颈场景。
延伸解读
压缩比与精度的权衡
向量量化通过码本索引大幅压缩数据，但精度受码本大小限制。当维度较高时，增大码本可能不现实，因为存储和编码成本上升。乘积量化通过分割子向量，用多个码本提供额外精度控制，但索引存储增加N倍，压缩比下降。实际应用中需根据数据维度和资源限制，在压缩比与精度之间取舍。
码本存储的巧妙之处
乘积量化虽然索引存储增加，但码本总存储与单一码本相同，均为M×D×b位。这是因为子向量维度d与码本数量N的乘积等于原维度D。这种设计使得在增加精度控制的同时，不额外增加码本存储，仅牺牲压缩比，适合对精度要求较高且存储资源有限的场景。
适用场景与局限
文章指出，向量量化在数据转移瓶颈时非常有效，例如在线计算中传输索引而非原始向量。但码本训练和编码过程可能昂贵，且精度受码本大小限制。乘积量化通过分割向量提供更多自由度，但压缩比降低。两者均需权衡，且不适用于所有场景，需根据具体需求选择。
Q&A
什么是向量量化？
向量量化是一种将高维向量映射到有限集合（码本）中的技术。它通过训练一个码本（如使用K-Means），每个向量用码本中最接近的码字索引表示，从而压缩数据。
向量量化的压缩比如何计算？
压缩比 = 原始向量存储位数 / 索引存储位数，即 CR = (D * b) / k，其中D是向量维度，b是每个元素位数，k是索引位数。例如D=32, b=32, M=65536时，k=16，压缩比为64。
向量量化的精度受什么影响？
向量量化的精度与码本大小M和向量维度D的比值（M/D）有关。对于低维向量，较小的码本即可获得较好精度；对于高维向量，需要极大的码本，但可能不切实际。
什么是乘积量化？
乘积量化是将高维向量分割成多个子向量，对每个子向量独立进行向量量化，每个子向量对应一个码本和索引。这样通过控制子向量数量来调节精度，但会增加索引存储。
乘积量化与向量量化在存储和压缩比上有何区别？
乘积量化将向量分成N个子向量，每个子向量独立量化，因此索引存储是向量量化的N倍，压缩比变为 (d * b) / k，其中d是子向量维度。但码本总存储不变，仍为 M * D * b。
为什么乘积量化能更好地控制精度？
乘积量化通过将高维向量分割成多个低维子向量，每个子向量独立量化，从而增加了控制精度的自由度。可以通过调整子向量数量N来平衡压缩比和精度，而向量量化只能通过增大码本M，但可能不切实际。
向量量化和乘积量化适用于什么场景？
它们适用于数据转移瓶颈的场景，例如在线计算中需要减少数据传输量。向量量化压缩比高，但精度控制受限；乘积量化牺牲部分压缩比以换取更好的精度控制。
