延迟交互模型，为什么是下一代RAG的标配？
内容提要
AIxiv专栏介绍了排序模型中的双编码器和交叉编码器架构，以及以ColBERT为代表的延迟交互模型。ColBERT采用双编码器策略，提供高效的排序性能和精准的搜索排序结果。Infinity数据库提供了端到端的ColBERT方案，通过Tensor数据类型和Tensor Index技术优化计算性能。评测结果表明，ColBERT作为Reranker能够显著提升搜索结果质量。ColBERT及其延迟交互模型在RAG场景具有应用价值。
延伸解读
延迟交互模型的核心优势
ColBERT采用双编码器分别编码查询和文档，但输出多向量而非单向量，通过MaxSim延迟交互计算相似度。这既保留了token级交互信息，又允许文档离线编码，查询时仅需编码查询，因此效率远高于交叉编码器。文章指出，相同数据规模下，ColBERT效率可达交叉编码器的100倍以上，同时排序质量接近交叉编码器。
工程化挑战与优化方案
ColBERT的MaxSim计算开销是普通向量相似度的M*N倍，且预训练模型对长文档不友好。Infinity数据库通过Tensor数据类型原生支持多向量存储，并引入binary量化将Tensor空间压缩至1/32，以及Tensor Index（EMVB）加速计算。针对长文本，Tensor Array将文档切分为段落分别编码，计算MaxSim时取最大值作为文档得分。
ColBERT作为Reranker的评测结论
在MLDR数据集上，ColBERT作为Reranker能显著提升所有召回组合的nDCG@10，且性能是交叉编码器的100倍，可在CPU上运行。而作为Ranker时，即使暴力搜索也无显著提升，Tensor Index甚至降低质量，且查询延迟高达7秒。因此，当前最佳方案是3路混合搜索（全文+向量+稀疏向量）加ColBERT Reranker。
多模态扩展与未来展望
延迟交互模型已扩展至多模态场景，ColPali直接使用多模态模型生成Embedding，省去文档识别步骤，在nDCG@5上达到81.3，远超BiPali的58.8。尽管ColBERT出现已4年，但Late Interaction在RAG的应用才刚开始，未来将扩大RAG使用场景，Infinity已为端到端应用做好准备。
Q&A
ColBERT模型的主要优势是什么？
ColBERT模型结合了双编码器的高效性和延迟交互模型的优势，能够显著提升搜索排序性能和结果质量。
Infinity数据库如何优化ColBERT的计算性能？
Infinity数据库通过引入Tensor数据类型和Tensor Index技术，优化了ColBERT的计算性能，提升了相似度计算的效率。
ColBERT在RAG场景中的应用价值是什么？
ColBERT在RAG场景中能够处理长文档检索，提供高质量的语义召回，具有很大的应用潜力。
双编码器和交叉编码器的区别是什么？
双编码器分别编码查询和文档，执行效率高但无法捕获复杂交互；交叉编码器同时编码查询和文档，能捕获复杂交互但速度较慢。
ColBERT作为Reranker的效果如何？
评测结果显示，ColBERT作为Reranker的效果显著优于传统的Cross Encoder Reranker，性能提升可达100倍。
ColBERT的MaxSim计算方法有什么特点？
ColBERT的MaxSim计算方法通过对每个查询Token与所有文档Token进行相似度计算，跟踪最大得分，从而提高了相似度计算的效率。
