内容提要
文章介绍如何用LlamaIndex检索评估工具挑选RAG系统的最佳嵌入与重排模型,以命中率和MRR为指标,在Llama2论文数据上测试OpenAI、Voyage、Cohere、Jina、bge等嵌入模型及CohereRerank、bge-reranker等重排器。结果显示重排普遍提升效果,OpenAI或Voyage搭配CohereRerank或bge-reranker-large表现最佳,且基础嵌入质量至关重要。
延伸解读
评估指标的选择逻辑
文章采用命中率和MRR作为核心指标,二者互补:命中率反映系统在前k个结果中能否找到正确答案,适合衡量召回能力;MRR则关注正确答案的排名位置,对排序质量更敏感。在RAG场景中,若后续生成环节依赖靠前的结果,MRR的重要性会更高。读者可根据自身业务对召回与排序的侧重,调整这两个指标的权重。
重排器的普适增益与局限
实验显示,几乎所有嵌入模型在加入重排器后命中率和MRR均有提升,其中CohereRerank和bge-reranker-large效果最显著,甚至能将表现较弱的Jina嵌入提升到可用水平。但文章也强调,若基础嵌入检索结果本身很差,重排器难以根本性扭转。因此,重排应视为优化手段,而非替代基础检索质量的方案。
组合搭配的实践启示
文章发现OpenAI或Voyage嵌入搭配CohereRerank或bge-reranker-large时综合表现最佳,但不同嵌入对重排器的响应度存在差异,例如Voyage对CohereRerank响应积极,而Jina则更受益于bge-reranker-large。这提示读者在实际选型时,不应孤立评估单个模型,而应通过小规模实验测试自身数据上的组合效果,避免直接套用通用结论。
实验条件的边界与参考价值
所有结果基于Llama2论文前36页、块大小512、检索top 10并重排取前5的设置,且问题由Anthropic LLM生成。文章明确提醒,数据特点、规模、块大小和相似度阈值等因素均可能影响实际表现。因此,这些排名应作为选型的起点而非最终答案,读者需在自己的语料和参数下复现评估,才能得出可靠结论。
Q&A
如何评估RAG系统中嵌入模型和重排模型的效果?
可以使用LlamaIndex的Retrieval Evaluation工具,采用命中率(Hit Rate)和平均倒数排名(MRR)两个指标来评估。命中率衡量在检索到的文档中找到正确答案的查询比例;MRR考察每个查询中相关文档排名的准确性,即所有查询中正确答案排名倒数的平均值。
在RAG实验中,如何生成用于评估的问题-背景对?
使用Anthropic LLM根据文档节点生成问题-背景对。设置提示模板,让LLM基于上下文信息生成多样化的问题,每个块生成2个问题。然后过滤掉包含“Here are 2 questions”等句型的无效问题。
哪些嵌入模型和重排模型在实验中表现最佳?
嵌入模型中OpenAI和Voyage表现最佳;重排模型中CohereRerank和bge-reranker-large表现最佳。组合使用OpenAI或Voyage的嵌入与CohereRerank或bge-reranker-large重排器,能在命中率和MRR上达到最优性能。
重排器对检索性能的提升有多大?
重排器能显著提升几乎所有嵌入模型的性能。例如,JinaAI嵌入原本表现较差,但使用bge-reranker-large后命中率提升至0.601124,MRR提升至0.578652。CohereRerank和bge-reranker-large通常能带来最高或接近最高的MRR。
为什么说基础嵌入质量至关重要?
因为如果基础搜索结果不佳,即使最优秀的重排器也难以发挥作用。实验表明,OpenAI和Voyage等高质量嵌入模型在配合重排器时能达到更高性能,而基础较差的嵌入模型即使经过重排,提升也有限。
实验中使用了哪些嵌入模型和重排模型?
嵌入模型包括:OpenAI嵌入、Voyage嵌入、CohereAI嵌入(v2.0/v3.0)、Jina嵌入、BAAI/bge-large-en。重排模型包括:CohereAI、bge-reranker-base、bge-reranker-large。