把酒诗代码
·
Kong 3.7重磅上线！Kong AI Gateway 正式 GA！🦍
💡
原文中文，约3100字，阅读约需8分钟。
📝
内容提要
Kong Gateway 3.7版本上线，AI Gateway带来一系列升级，包括SaaS解决方案部署在云端和Konnect Dedicated Cloud Gateways选项。新增OpenAI SDK和流式AI消息支持，以及基于Token的高级限流和基于Azure的内容安全能力。还新增了URL动态选择LLM和支持Anthropic Claude 2.1 Messages API。更新了AI用量统计的格式。
🎯
关键要点
- Kong Gateway 3.7版本上线，AI Gateway达到了通用可用性（GA）阶段。
- AI Gateway支持SaaS解决方案的云端部署和Konnect Dedicated Cloud Gateways选项。
- Kong AI Gateway允许用户通过OpenAI API规范访问所有支持的LLM，简化开发过程。
- 引入流式AI消息支持，允许实时交互，提升用户体验。
- 新增基于Token的高级限流能力，帮助企业管理AI资源消耗。
- 推出基于Azure的内容安全能力，支持内容过滤和安全管理。
- 支持通过URL动态选择LLM，方便用户调用不同模型。
- 支持Anthropic Claude 2.1 Messages API，扩展对更多LLM的支持。
- 更新AI用量统计的格式，提供更精细化的用量管理。
➡️
