本文介绍了如何将LiteLLM的Web搜索后端从自建的SearXNG替换为AWS托管的Amazon Bedrock AgentCore Web Search。该方案无需修改客户端,利用LiteLLM的websearch拦截机制,自动执行搜索并返回结果。通过重写核心方法实现与AgentCore的集成,减轻了自维护搜索引擎的负担,并支持按查询计费。文中提供了详细的部署和验证步骤。
WebSearch Interception 是 LiteLLM 的一项功能,允许不支持网页搜索的 LLM 提供商(如 AWS Bedrock、Azure)通过代理执行网页搜索并返回实时信息。配置要求包括 LiteLLM Docker 镜像和 SearXNG 实例,步骤包括部署 SearXNG、设置 LiteLLM 配置文件及启动 Docker。调用方式需通过特定端点,支持多次搜索和引用格式化,需注意版本要求和环境变量设置。
PostgreSQL的全文搜索功能支持多种查询语法,其中网站搜索功能通常应选择websearch语法。websearch从流行的搜索引擎中借鉴了一些功能,为用户提供了熟悉的简短语法。使用websearch_to_tsquery()函数解析查询以使用websearch语法。在Django中,使用SearchQuery(query, search_type="websearch")调用websearch_to_tsquery。感谢James Turk和Paolo Melchiorre的工作,使得Django支持了websearch语法。
完成下面两步后,将自动完成登录并继续当前操作。