本文介绍了如何将LiteLLM的Web搜索后端从自建的SearXNG替换为AWS托管的Amazon Bedrock AgentCore Web Search。该方案无需修改客户端，利用LiteLLM的websearch拦截机制，自动执行搜索并返回结果。通过重写核心方法实现与AgentCore的集成，减轻了自维护搜索引擎的负担，并支持按查询计费。文中提供了详细的部署和验证步骤。

WebSearch Interception 是 LiteLLM 的一项功能，允许不支持网页搜索的 LLM 提供商（如 AWS Bedrock、Azure）通过代理执行网页搜索并返回实时信息。配置要求包括 LiteLLM Docker 镜像和 SearXNG 实例，步骤包括部署 SearXNG、设置 LiteLLM 配置文件及启动 Docker。调用方式需通过特定端点，支持多次搜索和引用格式化，需注意版本要求和环境变量设置。

本文介绍了如何在AWS上以生产级标准部署LiteLLM AI Gateway，涵盖ECS Fargate和EKS两种方案。LiteLLM提供统一的OpenAI兼容API，支持多模型管理、成本控制和安全合规。ECS Fargate适合运维团队，EKS适合需要精细控制的团队，均支持高可用性和弹性扩缩。

本文介绍如何将LiteLLM AI Gateway的请求日志和费用数据接入Amazon QuickSight，以构建运维监控Dashboard，实现对LLM使用量、费用和性能的可视化分析。文中详细说明了数据源配置、QuickSight设置步骤及安全最佳实践，帮助用户高效监控和分析数据。

本文介绍如何通过LiteLLM实现Amazon Bedrock的成本控制与安全防护。方案包括实时限额、多维监控和平台级兜底，确保企业AI投入可控，防止API Key被盗。通过AWS Budgets实现超预算自动阻断，结合VPC和IAM等安全措施，构建多层防御体系，确保成本透明和安全。

LiteLLM 是一个统一的 AI 网关，解决了多个 AI 模型 API 格式不一致和监控困难的问题。用户通过统一接口可轻松切换模型，并支持实时监控模型使用情况和成本，提供负载均衡和速率限制功能。本文介绍了在 Kubernetes 环境中部署 LiteLLM 的步骤，包括 PostgreSQL 数据库配置和模型请求示例。

近期，LiteLLM和Telnyx的供应链攻击导致恶意软件通过PyPI包传播，窃取用户凭证。攻击者利用API令牌注入恶意代码。PyPI正在与安全研究人员合作，加快恶意软件的检测与处理。开发者应采用依赖冷却策略和锁定依赖以增强安全性。

知名大模型工具LiteLLM遭遇供应链攻击，版本1.82.7和1.82.8被植入恶意代码，导致用户敏感信息泄露。攻击者通过篡改依赖工具Trivy窃取密钥并发布恶意包。维护者已删除受影响版本并更换所有密钥，建议用户检查和更换相关凭证，凸显软件供应链安全的严峻形势。

LiteLLM 投毒事件揭示了软件供应链的安全隐患，攻击者通过恶意代码注入影响开发者工具链。事件分析表明，包管理哲学正在向“验证与分布式协同”演进。Rust 和 Go 的包管理器在应对此类威胁时展现出不同的防御机制，Rust 依赖哈希校验，而 Go 则禁止执行外部代码。未来，软件供应链安全需结合透明审计和细粒度权限控制，以提升整体安全性。

LiteLLM现已支持在Vercel上部署，开发者可以通过OpenAI兼容的网关访问LLM。配置示例包括在litellm_config.yaml中设置模型名称和API密钥，以便通过Vercel AI Gateway路由模型。

LiteLLM Gateway现已支持在Vercel上部署，允许开发者通过OpenAI兼容的网关访问大型语言模型（LLM）。用户需在配置文件中添加模型名称和API密钥，以通过Vercel AI Gateway路由模型。

LiteLLM是一个开源工具，提供统一接口，支持多种大型语言模型，便于应用开发。它能有效跟踪成本、优化使用、简化部署，确保数据安全，并具备缓存和自动重试功能，提高应用韧性，适合多模型系统架构。

LiteLLM与Redis的结合为生成式AI应用提供了统一的访问方式，提升了响应速度和实时性。LiteLLM简化了与不同模型的交互，Redis则优化了性能，支持缓存和上下文持久化，助力智能生产级应用的构建。

作者创建了一个大模型价格榜网站，以便查找模型价格，因之前的榜单停止更新。数据来源于litellm和deepresearch，欢迎反馈问题。

在GenAI时代，企业对模型即服务（MaaS）的需求上升，希望通过统一接口整合多种模型。客户利用高性能硬件提升资源利用率，采用Amazon SageMaker和LiteLLM构建灵活架构，以实现高效管理与创新。