亚马逊AWS官方博客
·
Bedrock Claude + LiteLLM WebSearch Interception 配置指南
内容提要
WebSearch Interception 是 LiteLLM 的一项功能，允许不支持网页搜索的 LLM 提供商（如 AWS Bedrock、Azure）通过代理执行网页搜索并返回实时信息。配置要求包括 LiteLLM Docker 镜像和 SearXNG 实例，步骤包括部署 SearXNG、设置 LiteLLM 配置文件及启动 Docker。调用方式需通过特定端点，支持多次搜索和引用格式化，需注意版本要求和环境变量设置。
关键要点
-
WebSearch Interception 是 LiteLLM 的功能，允许不支持网页搜索的 LLM 提供商通过代理执行网页搜索并返回实时信息。
-
环境要求包括 LiteLLM Docker 镜像和 SearXNG 自部署实例，需启用 JSON 格式输出。
-
配置步骤包括部署 SearXNG、设置 LiteLLM 配置文件及启动 Docker，需注意环境变量设置。
-
调用方式需通过 /v1/messages 端点，支持多次搜索和引用格式化。
-
功能支持情况包括对 /v1/messages 的完整支持，但 /chat/completions 不支持 agentic loop。
-
踩坑记录中提到的常见问题包括配置格式错误、回调不生效和版本要求。
-
Citation 实现方案通过提示词工程生成格式化引用，尽管 LiteLLM 不支持原生结构化 citations 字段。
-
Stream 模式当前版本不支持 WebSearch Interception + Stream 同时工作，需等待后续版本支持。
-
请求中的工具名称 web_search_20250305 与配置中的 searxng-search 是不同层面的概念，前者是接口协议，后者是实现引擎。
延伸解读
环境配置的重要性
在配置 LiteLLM 的 WebSearch Interception 功能时，确保环境要求的正确设置至关重要。特别是 Docker 镜像和 SearXNG 实例的版本必须符合要求，否则可能导致功能无法正常使用。建议在部署前仔细检查文档中的版本信息，以避免不必要的错误和调试时间。
调用方式的注意事项
使用 WebSearch Interception 时，调用方式必须通过 /v1/messages 端点，而非 /chat/completions。这是因为后者不支持 agentic loop，可能导致无法触发网页搜索功能。开发者在集成时需特别留意这一点，以确保功能的正常运行。
常见问题与解决方案
在配置过程中，常见问题包括环境变量未设置、配置格式错误等。文中提供的踩坑记录详细列出了这些问题及其解决方案，开发者应在实施前仔细阅读，以减少调试时间和提高配置成功率。
延伸问答
WebSearch Interception 的主要功能是什么？
WebSearch Interception 是 LiteLLM 的功能，允许不支持网页搜索的 LLM 提供商通过代理执行网页搜索并返回实时信息。
配置 WebSearch Interception 需要哪些环境要求？
需要 LiteLLM Docker 镜像和 SearXNG 自部署实例，并启用 JSON 格式输出。
如何正确调用 WebSearch Interception 的接口？
应通过 /v1/messages 端点调用，使用 Anthropic 格式，并包含必要的请求头和参数。
在配置过程中常见的问题有哪些？
常见问题包括配置格式错误、回调不生效和版本要求不符。
如何实现带引用的搜索结果？
可以通过提示词工程让模型在回答中生成格式化的引用，尽管 LiteLLM 不支持原生结构化 citations 字段。
Stream 模式与 WebSearch Interception 的兼容性如何？
当前版本不支持 WebSearch Interception 与 Stream 模式同时工作，需等待后续版本支持。
