如何清理Qdrant集合
内容提要
Qdrant向量集合增长会暴露重复、过期数据等问题，导致检索结果质量下降。通过去重、混合搜索优化和添加时效性过滤，可提升答案正确率。评估需结合多个指标，并检查数据源完整性，避免单一指标掩盖问题。
延伸解读
增长暴露的隐患
向量集合增长会放大首次摄取时就存在的缺陷，如重复、过期数据。文章通过实验表明，即使集合从1,314点增至22,946点，重复点仍占据前五结果中的44%。因此，当检索质量下降时，应先检查集合本身，而非急于调整提示词或代理逻辑。
去重的实际效果
去重通过释放结果槽位提升答案正确率。实验中，移除14,530个重复点后，答案正确率从0.57升至0.76。稳定点ID可防止重复，而哈希比较可识别精确副本。但删除时需谨慎，因为相同文本可能合法存在于不同租户或语言中。
检索优化未必提升答案
检索质量与答案质量独立变化。混合搜索中，融合步骤可能降低排名指标，而重排序才带来提升。但即使所有排名指标改善，答案正确率仍可能下降，因为代理的重试机制掩盖了问题。评估需结合多个指标，如搜索次数和答案正确率。
时效性过滤的必要性
相似度无法判断记录的新旧。过时记录可能语义匹配且通过接地检查，但答案仍错误。添加is_current等字段并建立索引，可确保查询只检索当前数据。文章案例中，过滤后答案正确率恢复至0.92。
Q&A
为什么Qdrant向量集合增长会导致检索结果质量下降？
向量集合增长会暴露首次摄取时就存在的重复、过期数据等问题，因为更大的集合使得每个结果槽位的竞争更激烈，重复和过期数据更容易占据前五名结果，从而降低检索质量。
如何通过去重提升Qdrant集合的答案正确率？
去重可以释放结果槽位，让前五名结果包含更多不同的信息块。例如，移除14,530个重复点后，答案正确率从0.57提升到0.76。可以通过对文本内容进行哈希来识别重复点，并确保使用稳定的点ID以避免重复摄取。
混合搜索优化是否总能提升答案正确率？
不一定。混合搜索（如融合与重排序）可能提升检索指标，但答案正确率可能下降。例如，融合稀疏和稠密结果得分低于纯稠密搜索，而ColBERT重排序提升了排名指标，但答案正确率从0.92降至0.86。因此需要结合多个指标评估。
如何确保Qdrant检索到最新数据？
在数据模型中添加时效性字段（如is_current、updated_at），并使用payload过滤器（如is_current=true）来排除过期记录。同时为这些字段建立payload索引，以便在集群上高效过滤。
评估RAG系统时，为什么不能只看单一指标？
单一指标可能掩盖问题。例如，块利用率在去重前后都是0.85，但答案正确率提升了0.19。需要结合多个指标（如上下文相关性、块利用率、答案正确率）来定位失败层，并检查数据源完整性，以发现未摄取的数据。
如何检查Qdrant集合中是否存在重复或过期数据？
可以通过比较点数量与源数量、抽样检查top-k结果、检查相同内容或旧版本是否多次出现来识别。对于重复，可以哈希文本内容；对于过期，需要检查时效性字段。
