Perplexity 的新视觉检索器存在体积问题，我们已解决。
内容提要
Perplexity 发布 pplx-embed-v2-late 视觉检索模型，可直接搜索 PDF 页面图像，无需 OCR。每页约 1700 个向量，float32 下占 856KB，百万页需 800GB。Qdrant 用 TurboQuant 将其压缩至 1 比特，每页仅 40KB，缩小 21 倍，保留 96.5% 检索质量，重排序后达 99.9%。测试显示页面图像检索优于 Markdown，OCR 应变为可选。
延伸解读
视觉检索的存储挑战与量化方案
Perplexity 的 pplx-embed-v2-late 模型将 PDF 页面作为图像嵌入，每页产生约 1700 个向量，float32 下占用 856KB，百万页需 800GB 以上。Qdrant 的 TurboQuant 技术可将向量压缩至 1 比特，每页仅 40KB，缩小 21 倍，同时保留 96.5% 的检索质量。重排序后质量可达 99.9%。这为大规模视觉文档检索提供了可行的存储方案。
重排序对检索质量的关键作用
测试表明，1 比特 TurboQuant 在不重排序时保留 96.5% 的检索质量，而重排序后提升至 99.9%。重排序通过用原始向量校验顶部候选，以额外计算换取近乎无损的精度。相比之下，1 比特二值量化仅保留 76.4%，差距明显。因此，在压缩存储的同时，重排序是平衡效率与质量的有效手段。
页面图像与 Markdown 的检索效果对比
在 ViDoRe v3 测试集上，页面图像检索的 nDCG@10 为 0.681，略高于转换为 Markdown 的 0.671。但 Markdown 页面的压缩向量仅 14KB，远小于页面图像的 40KB。这意味着，当布局和视觉元素对检索至关重要时，应优先使用页面图像；若文本内容已足够，Markdown 可能是更节省资源的选项。OCR 应变为可选步骤。
索引与查询模型的非对称使用
Perplexity 的两个模型共享嵌入空间，允许用 9b 模型索引页面，用 0.6b 模型处理查询，后者活跃参数少约 20 倍。在页面图像上，这种组合达到 0.670 nDCG@10，介于单独使用 0.6b（0.666）和 9b（0.681）之间。在 FiQA 文本检索上，混合设置提升更明显（0.588 对 0.522）。这提示我们可以在索引阶段投入更多计算，而查询阶段保持轻量。
Q&A
Perplexity 的 pplx-embed-v2-late 模型是什么？它有什么特点？
pplx-embed-v2-late 是 Perplexity 发布的视觉检索模型，可以直接搜索文档页面图像，无需 OCR。它采用 late interaction 机制，每页图像生成约 1700 个 128 维向量，通过 MaxSim 计算相似度。
为什么 pplx-embed-v2-late 的向量表示存在体积问题？
因为 late interaction 模型为每个 token 保留一个向量，每页图像约 1700 个向量，float32 下每页占 856KB，百万页需要超过 800GB 存储，导致存储和内存开销巨大。
Qdrant 如何解决 pplx-embed-v2-late 的向量体积问题？效果如何？
Qdrant 使用 TurboQuant 将向量压缩至 1 比特，每页从 856KB 降至 40KB，缩小 21 倍。压缩后检索质量保留 96.5%，重排序后可达 99.9%。
在文档检索中，页面图像和 Markdown 文本的检索效果有何差异？
测试显示，页面图像检索效果优于 Markdown：9b 模型下页面图像 nDCG@10 为 0.681，Markdown 为 0.671。但 Markdown 压缩后每页仅 14KB，页面图像为 40KB。
OCR 在文档检索中是否还需要？文章的建议是什么？
文章认为 OCR 应变为可选。对于视觉丰富的 PDF，建议先测试搜索页面图像，再考虑构建文本提取流程。但如果应用需要提取文本或结构化字段，则仍需 OCR。
如何平衡索引和查询的计算成本？文章提出了什么策略？
文章建议在索引阶段投入更多计算，查询阶段使用更小模型。例如用 9b 模型索引页面，用 0.6b 模型嵌入查询，两者共享嵌入空间，在页面图像上达到 0.670 nDCG@10，接近 9b 单独使用的 0.681。
