Neki路由器利用分片数据库解决查询路由问题，通过Neki计划决定查询发送至哪些分片，而Postgres计划处理分片内执行。路由器集群支持大量客户端连接，无需每连接一个Postgres进程。查询可路由至单分片或散射至全部分片并聚合结果。路由器无状态，易于扩展，分片扩展数据存储，路由器扩展连接处理。

本文介绍了Zilliz的DeepSearcher开源项目，扩展了研究代理的概念，增加了查询路由、条件执行和网页爬虫等功能。DeepSearcher通过问题分解和反思生成结构化报告，展示了高效的推理模型和快速的推理服务，推动了AI应用的发展。

NVIDIA NIM™ 提供强大的微服务，支持生成式 AI 应用中的代理，利用 LLM 提升决策能力。通过 LlamaIndex，代理能够处理复杂查询，提供更准确的响应，适用于零售聊天机器人等场景。本文展示了如何使用 NIM 和 LlamaIndex 构建查询路由代理，以回答旧金山预算相关问题。