LiteLLM 是一个统一的 AI 网关，解决了多个 AI 模型 API 格式不一致和监控困难的问题。用户通过统一接口可轻松切换模型，并支持实时监控模型使用情况和成本，提供负载均衡和速率限制功能。本文介绍了在 Kubernetes 环境中部署 LiteLLM 的步骤，包括 PostgreSQL 数据库配置和模型请求示例。

近期，LiteLLM和Telnyx的供应链攻击导致恶意软件通过PyPI包传播，窃取用户凭证。攻击者利用API令牌注入恶意代码。PyPI正在与安全研究人员合作，加快恶意软件的检测与处理。开发者应采用依赖冷却策略和锁定依赖以增强安全性。

知名大模型工具LiteLLM遭遇供应链攻击，版本1.82.7和1.82.8被植入恶意代码，导致用户敏感信息泄露。攻击者通过篡改依赖工具Trivy窃取密钥并发布恶意包。维护者已删除受影响版本并更换所有密钥，建议用户检查和更换相关凭证，凸显软件供应链安全的严峻形势。

LiteLLM 投毒事件揭示了软件供应链的安全隐患，攻击者通过恶意代码注入影响开发者工具链。事件分析表明，包管理哲学正在向“验证与分布式协同”演进。Rust 和 Go 的包管理器在应对此类威胁时展现出不同的防御机制，Rust 依赖哈希校验，而 Go 则禁止执行外部代码。未来，软件供应链安全需结合透明审计和细粒度权限控制，以提升整体安全性。

LiteLLM现已支持在Vercel上部署，开发者可以通过OpenAI兼容的网关访问LLM。配置示例包括在litellm_config.yaml中设置模型名称和API密钥，以便通过Vercel AI Gateway路由模型。

LiteLLM Gateway现已支持在Vercel上部署，允许开发者通过OpenAI兼容的网关访问大型语言模型（LLM）。用户需在配置文件中添加模型名称和API密钥，以通过Vercel AI Gateway路由模型。

LiteLLM是一个开源工具，提供统一接口，支持多种大型语言模型，便于应用开发。它能有效跟踪成本、优化使用、简化部署，确保数据安全，并具备缓存和自动重试功能，提高应用韧性，适合多模型系统架构。

LiteLLM与Redis的结合为生成式AI应用提供了统一的访问方式，提升了响应速度和实时性。LiteLLM简化了与不同模型的交互，Redis则优化了性能，支持缓存和上下文持久化，助力智能生产级应用的构建。

作者创建了一个大模型价格榜网站，以便查找模型价格，因之前的榜单停止更新。数据来源于litellm和deepresearch，欢迎反馈问题。

在GenAI时代，企业对模型即服务（MaaS）的需求上升，希望通过统一接口整合多种模型。客户利用高性能硬件提升资源利用率，采用Amazon SageMaker和LiteLLM构建灵活架构，以实现高效管理与创新。

LiteLLM Proxy通过async_pre_call_hook为开发者提供插件开发能力，允许在请求发送前拦截、修改或拒绝请求。该指南适合Python开发者，涵盖插件创建、配置及调试，强调性能、安全性和最佳实践。用户可利用此钩子实现动态路由、输入验证和预算控制等功能，增强LiteLLM的定制化能力。

LiteLLM Python SDK通过统一接口集成多种大型语言模型，提供Redis缓存、重试机制和动态部署管理，简化模型交互过程。

LiteLLM的回调功能允许用户在AI请求的各个阶段执行自定义代码，便于实时监控、成本跟踪和错误处理。初学者可利用内置回调快速入门，高级用户则可创建灵活的自定义回调，支持异步操作。理解回调原理有助于用户优化AI应用。

LiteLLM配置指南中，邮件警报设置需包括SMTP服务器、发件人凭证和收件人地址。用户应根据所选警报方法（如Slack、Email等）查阅文档，确保警报参数完整，以避免集成失败。

pgai Vectorizer现已支持LiteLLM，用户可通过统一接口使用多种嵌入模型，如Cohere和Mistral。这一集成简化了模型切换，节省开发时间，用户可以轻松测试不同模型的性能，以找到最佳解决方案。

pgai Vectorizer简化了AI应用的嵌入管理，支持SQLAlchemy和LiteLLM，允许开发者通过单一SQL命令轻松切换向量嵌入提供商，从而提升灵活性和效率。