Qdrant与Minima联合优化，每GPU小时智能体RAG任务量提升2.92倍
内容提要
Qdrant与Minima联合优化智能体RAG，通过混合检索、重排序和模型压缩，将每GPU小时成功任务数从1081提升至3158，提升2.92倍。首轮检索成功率增至87%，上下文减少56%，延迟从21.3秒降至7.7秒，同时保持任务质量，显著降低推理成本。
延伸解读
优化重点：检索与推理的协同
文章指出，智能体RAG的瓶颈往往不在单一环节，而是整个循环的累积开销。Qdrant通过混合检索和重排序，将首轮检索成功率从72%提升至87%，减少了不必要的二次检索；Minima则通过模型压缩，将单GPU的推理吞吐提升1.9倍。两者结合，才实现了2.92倍的端到端提升，说明优化需同时关注检索质量与推理效率。
成本与质量权衡的验证方法
该测试并非仅追求速度，而是设定了严格的质量门槛：压缩后的模型需保持任务质量在BF16的1个百分点以内，且引用质量、工具调用有效性均需达标。最终，压缩模型与BF16的grounded任务成功率仅差0.1个百分点，但GPU成本降低了65%。这种验证方式为生产环境中的模型压缩提供了参考。
实际部署中的注意事项
测试中，Qdrant和嵌入服务独立于GPU运行，GPU成本仅计算推理部分。实际部署时，混合检索增加了Qdrant和嵌入服务的负载，这些额外成本未计入对比。此外，测试使用了特定硬件（RTX PRO 6000 Blackwell）和模型（Qwen3.6-27B），结果可能因环境而异。读者在复现时需注意这些前提条件。
Q&A
Qdrant和Minima联合优化后，每GPU小时智能体RAG任务量提升了多少？
每GPU小时成功任务数从1081提升至3158，提升2.92倍。
Qdrant和Minima联合优化采用了哪些技术？
Qdrant负责混合检索（稠密+稀疏）、RRF融合、ColBERT风格后期交互重排序和payload过滤；Minima负责模型压缩（NVFP4 W4A4权重、FP8 KV缓存、TQ3陈旧KV）和推理加速。
优化后首轮检索成功率提升到多少？上下文减少多少？
首轮检索成功率从72%提升到87%，上下文从约5.2K tokens减少到约2.3K tokens，减少56%。
优化后任务延迟和推理吞吐量有何变化？
中位任务延迟从21.3秒降至7.7秒，推理吞吐量从206.4 tokens/s提升到392.2 tokens/s。
优化后任务质量是否下降？
没有下降。接地任务成功率从80.1%提升到84.2%，引用F1保持在90.7%左右，有效工具调用率保持99.8%。
优化后GPU成本降低多少？
每1000个成功任务的GPU成本从1.39美元降至0.48美元，降低65%。
