宣布推出AI Gateway:提升AI应用程序的可观测性、可靠性和可扩展性

💡 原文英文,约1300词,阅读约需5分钟。
📝

内容提要

Cloudflare推出AI Gateway,为AI应用程序和API之间提供缓存、请求限制和分析,支持多个提供商,包括OpenAI、Hugging Face和Replicate。该网关还允许开发人员缓存API调用和限制请求以控制成本。Cloudflare计划将该产品扩展到更多高级用例,包括使用警报、越狱保护、动态模型路由和高级缓存规则。

🏷️

标签

➡️

继续阅读