Respan发布用Rust编写的开源AI网关，取代此前围绕LiteLLM构建的十万余行封装代码。起因是2026年1月一次LiteLLM升级导致间歇性连接故障且原因未明。新网关借鉴Nginx思路，核心精简，将模型提供商、路由、MCP工具、实时语音和安全控制等功能放入插件，开发者可用相同接口自建插件。插件按注册顺序执行，顺序不当可能绕过安全检查；插件编译进网关，存在供应链风险。LiteLLM也在将网关迁移至Rust，但采取逐路由迁移、默认关闭的渐进方式。

本文介绍如何通过 LiteLLM MCP 网关接入 Amazon Bedrock AgentCore WebSearch，为模型和 Agent 提供托管联网搜索。相比自部署 SearXNG 方案，该方案支持 OpenAI 格式的服务端搜索循环、流式输出和原生结构化引用，搜索源免运维，且适用于任意 OpenAI 兼容模型。Claude Code 等客户端可通过 /mcp 端点以 Bearer 认证接入，SigV4 由网关代签。

实测 LiteLLM 接入 Bedrock Guardrail 的四种配置，目标是输入侧仅检查用户输入、输出侧不检查。Proxy 模式会误查 system prompt 和 tool result，模型级 guardrailConfig 无法关闭输出检查。可行方案是自研两步调用：先用 ApplyGuardrail 单独检查用户输入，再发起不带 guardrailConfig 的模型请求，从架构上规避输出检查延迟。

作者使用LiteLLM将多个LLM提供商的模型统一到OpenAI兼容API后，部署到Kubernetes，并集成PostgreSQL、Redis、Traefik和ArgoCD。文章详述了配置、缓存注意事项、Kustomize管理、部署流程及检查步骤，并计划后续添加健康检查、资源限制和日志清理等功能。

本文介绍了作者搭建LiteLLM网关，统一管理多个大模型接口，供Hermes使用。配置了PostgreSQL、Redis、Traefik和ArgoCD，并分享了Kustomize管理配置、Redis缓存及部署中的坑。文章强调通过模型映射切换底层模型，无需改动客户端，并计划后续补充健康检查等功能。

本文介绍如何用LiteLLM网关统一接入Amazon Bedrock的Mantle推理引擎与经典端点，使客户端通过单一地址和密钥调用GPT-5.6、Claude等9个模型。网关使用EC2实例角色进行SigV4认证，无需存储API密钥，并提供一个92行钩子解决Codex客户端兼容问题，实现多客户端共存。

本文介绍了如何将LiteLLM的Web搜索后端从自建的SearXNG替换为AWS托管的Amazon Bedrock AgentCore Web Search。该方案无需修改客户端，利用LiteLLM的websearch拦截机制，自动执行搜索并返回结果。通过重写核心方法实现与AgentCore的集成，减轻了自维护搜索引擎的负担，并支持按查询计费。文中提供了详细的部署和验证步骤。

WebSearch Interception 是 LiteLLM 的一项功能，允许不支持网页搜索的 LLM 提供商（如 AWS Bedrock、Azure）通过代理执行网页搜索并返回实时信息。配置要求包括 LiteLLM Docker 镜像和 SearXNG 实例，步骤包括部署 SearXNG、设置 LiteLLM 配置文件及启动 Docker。调用方式需通过特定端点，支持多次搜索和引用格式化，需注意版本要求和环境变量设置。

本文介绍了如何在AWS上以生产级标准部署LiteLLM AI Gateway，涵盖ECS Fargate和EKS两种方案。LiteLLM提供统一的OpenAI兼容API，支持多模型管理、成本控制和安全合规。ECS Fargate适合运维团队，EKS适合需要精细控制的团队，均支持高可用性和弹性扩缩。

本文介绍如何将LiteLLM AI Gateway的请求日志和费用数据接入Amazon QuickSight，以构建运维监控Dashboard，实现对LLM使用量、费用和性能的可视化分析。文中详细说明了数据源配置、QuickSight设置步骤及安全最佳实践，帮助用户高效监控和分析数据。

本文介绍如何通过LiteLLM实现Amazon Bedrock的成本控制与安全防护。方案包括实时限额、多维监控和平台级兜底，确保企业AI投入可控，防止API Key被盗。通过AWS Budgets实现超预算自动阻断，结合VPC和IAM等安全措施，构建多层防御体系，确保成本透明和安全。

LiteLLM 是一个统一的 AI 网关，解决了多个 AI 模型 API 格式不一致和监控困难的问题。用户通过统一接口可轻松切换模型，并支持实时监控模型使用情况和成本，提供负载均衡和速率限制功能。本文介绍了在 Kubernetes 环境中部署 LiteLLM 的步骤，包括 PostgreSQL 数据库配置和模型请求示例。

近期，LiteLLM和Telnyx的供应链攻击导致恶意软件通过PyPI包传播，窃取用户凭证。攻击者利用API令牌注入恶意代码。PyPI正在与安全研究人员合作，加快恶意软件的检测与处理。开发者应采用依赖冷却策略和锁定依赖以增强安全性。

知名大模型工具LiteLLM遭遇供应链攻击，版本1.82.7和1.82.8被植入恶意代码，导致用户敏感信息泄露。攻击者通过篡改依赖工具Trivy窃取密钥并发布恶意包。维护者已删除受影响版本并更换所有密钥，建议用户检查和更换相关凭证，凸显软件供应链安全的严峻形势。

LiteLLM 投毒事件揭示了软件供应链的安全隐患，攻击者通过恶意代码注入影响开发者工具链。事件分析表明，包管理哲学正在向“验证与分布式协同”演进。Rust 和 Go 的包管理器在应对此类威胁时展现出不同的防御机制，Rust 依赖哈希校验，而 Go 则禁止执行外部代码。未来，软件供应链安全需结合透明审计和细粒度权限控制，以提升整体安全性。