使用视觉语言模型进行 PDF 检索 [译]
内容提要
构建检索增强生成（RAG）解决方案是热门话题，将大语言模型（LLM）与检索模型结合应用于专有知识数据库。ColPali是一种新颖的方法，将PDF页面截图转化为向量表示，无需复杂的预处理步骤。ColPali在视觉文档检索基准测试中表现出色，超过其他检索模型。与Vespa结合，可以构建强大的RAG管道，仅使用文档页面的视觉表示。
延伸解读
传统 RAG 流程的瓶颈与 ColPali 的突破
传统 RAG 处理 PDF 需经过文本提取、OCR、布局分析等步骤，每个环节都可能引入错误，且耗时费力。ColPali 直接嵌入页面截图，跳过了这些预处理，避免了“垃圾进，垃圾出”的问题。这种简化不仅提升了效率，还保留了文档中的视觉信息，如图表和表格，从而可能提高检索质量。
ColPali 在基准测试中的表现与优势
在 ViDoRe 基准上，ColPali 的 nDCG@5 达到 81.3，优于 BM25 和 BGE-M3 等文本模型（65-75）。这得益于其端到端训练和后期交互评分机制，能更好地捕捉视觉与文本的关联。不过，这些结果基于特定基准，实际应用仍需在自有数据上评估。
在 Vespa 中实现 ColPali 的存储与检索
Vespa 支持将 ColPali 嵌入存储为张量，可按页或整个 PDF 存储，并利用二值化压缩存储空间。检索时可采用分阶段排名，如第一阶段用 BM25，第二阶段用 ColPali 嵌入重排。这种灵活集成便于构建高效的 RAG 管道，但需注意图像数据以 base64 存储仅用于展示，实际嵌入在张量字段。
ColPali 的适用性与限制
ColPali 基于页面级图像训练，不直接处理多页文档，但可通过增加张量维度表示页面。它可微调以适应其他格式和语言，且能与其他检索模型结合。模型约 30 亿参数，推理复杂度较低，但基础模型 PaliGemma 有资源限制。实际部署时需考虑这些因素。
Q&A
ColPali 是什么，它的主要功能是什么？
ColPali 是一种新颖的视觉语言模型，能够将 PDF 页面的截图转化为向量表示，简化文档检索流程，无需复杂的预处理步骤。
ColPali 如何提高 PDF 文档的检索效率？
ColPali 通过直接嵌入页面图像，消除了传统文档处理中的 OCR 和布局分析等复杂步骤，从而提高了检索效率。
ColPali 在视觉文档检索基准测试中的表现如何？
ColPali 在视觉文档检索基准测试中表现优异，得分超过传统的基于文本的检索模型，显示出更高的有效性。
ColPali 可以与哪些其他模型结合使用？
ColPali 可以与其他检索模型结合使用，以提升性能和准确性，适用于多种复杂文档格式。
使用 ColPali 进行 PDF 文档检索的步骤是什么？
使用 ColPali 进行 PDF 文档检索的步骤包括将 PDF 页面截图嵌入为向量表示，并在检索系统中进行查询和排名。
ColPali 如何处理多语言文档？
ColPali 可以在多种语言的文档上进行微调，确保其在不同语言的文档上表现良好。
