探索检索和评估相关上下文的挑战 [译]
内容提要
本文通过一年级阅读理解练习案例研究，讨论了在RAG系统中检索和评估上下文相关性的挑战。介绍了文档分块技术和不同的数据块划分策略，并提到了Ragas、TruLens和DeepEval等评估框架。这些框架使用无参考指标评估上下文相关性，并介绍了相似度和距离测量以及搜索和排名指标等评估方法。总结了在RAG应用中选择合适的上下文切分策略、权衡块的大小和检索的上下文数量的重要性。
延伸解读
分块策略的权衡：粒度与上下文完整性
文章通过一年级阅读理解案例指出，按句子切分文档虽简单，但可能导致上下文信息不足。例如，回答“Lisa的狗叫什么名字？”时，仅“她的狗Bella，和她一起。”一句无法明确“她”指代谁，需结合前一句“Lisa在公园。”才能完整理解。因此，块大小的选择需在信息完整性与检索精度间权衡。更大的块能保留更多上下文，但也可能引入无关信息；更小的块则可能丢失关键指代关系。实践中需根据问题类型和文档特性调整分块策略。
检索数量并非固定：问题复杂度决定上下文需求
文章强调，检索多少上下文块取决于具体问题。例如，“Lisa的狗叫什么名字？”仅需一个相关块，而“Lisa在公园里都做些什么？”则需要两个块才能覆盖所有活动。这表明，固定检索数量可能无法适应不同查询。理想情况下，应通过多轮实验，找到块大小与检索数量之间的最佳平衡。这一过程需结合评估指标，以判断当前配置是否优于基准。
相似度不等于相关性：距离度量的局限性
文章通过余弦距离示例揭示，向量空间中与问题最接近的上下文未必能回答问题。例如，对于“Lisa在公园里做了什么？”，距离最小的上下文是“Lisa在公园。她的狗Bella，和她一起。”，但它并未提供答案。因此，仅依赖相似度或距离度量来评估上下文相关性是不充分的。读者需注意，在RAG系统中，应结合其他评估方法，如搜索和排名指标，以更全面地判断检索质量。
无参考评估框架的差异：Ragas、TruLens与DeepEval
文章对比了三个RAG评估框架的上下文相关性指标。Ragas按相关句子比例计算，对杂乱信息敏感；DeepEval在加入无关信息时评分不变，但对完全无关上下文给0分；TruLens评分较高，即使上下文不包含答案信息也能得0.4分。这些差异表明，不同框架对“相关性”的定义和计算方式不同。读者在选择评估工具时，需了解其底层逻辑，避免单一指标带来的偏差。
Q&A
RAG系统中上下文相关性的评估有哪些挑战？
RAG系统中上下文相关性的评估面临选择合适上下文、评估相关性准确性等挑战。
文档分块技术在RAG系统中有什么重要性？
文档分块技术用于将文档分割成小片段，以便更有效地检索相关上下文，提升系统表现。
如何选择合适的上下文切分策略？
选择合适的上下文切分策略需考虑块的大小与检索的上下文数量之间的平衡。
RAG系统中使用的评估框架有哪些？
RAG系统中使用的评估框架包括Ragas、TruLens和DeepEval等。
相似度和距离测量在上下文评估中有什么局限性？
相似度和距离测量不足以单独判断上下文的相关性，因为相似不等于相关。
如何评估RAG系统的性能？
评估RAG系统性能的方法包括准确率@K、召回率@K和平均倒数排名等经典指标。
