把酒诗代码
·
Kong 3.7重磅上线！Kong AI Gateway 正式 GA！🦍
内容提要
Kong Gateway 3.7版本上线，AI Gateway带来一系列升级，包括SaaS解决方案部署在云端和Konnect Dedicated Cloud Gateways选项。新增OpenAI SDK和流式AI消息支持，以及基于Token的高级限流和基于Azure的内容安全能力。还新增了URL动态选择LLM和支持Anthropic Claude 2.1 Messages API。更新了AI用量统计的格式。
关键要点
-
Kong Gateway 3.7版本上线，AI Gateway达到了通用可用性（GA）阶段。
-
AI Gateway支持SaaS解决方案的云端部署和Konnect Dedicated Cloud Gateways选项。
-
Kong AI Gateway允许用户通过OpenAI API规范访问所有支持的LLM，简化开发过程。
-
引入流式AI消息支持，允许实时交互，提升用户体验。
-
新增基于Token的高级限流能力，帮助企业管理AI资源消耗。
-
推出基于Azure的内容安全能力，支持内容过滤和安全管理。
-
支持通过URL动态选择LLM，方便用户调用不同模型。
-
支持Anthropic Claude 2.1 Messages API，扩展对更多LLM的支持。
-
更新AI用量统计的格式，提供更精细化的用量管理。
延伸问答
Kong AI Gateway 3.7版本有哪些主要新功能？
Kong AI Gateway 3.7版本新增了SaaS云端部署、OpenAI SDK支持、流式AI消息、基于Token的限流、Azure内容安全能力、动态选择LLM和支持Anthropic Claude 2.1 API等功能。
Kong AI Gateway如何支持流式AI消息？
Kong AI Gateway通过' ai-proxy'插件原生支持流式交互，允许实时发送响应，用户可以通过设置请求体中的流式请求属性来启用此功能。
Kong AI Gateway的基于Token的限流能力有什么优势？
基于Token的限流能力帮助企业更好地管理不同团队的AI资源消耗，控制整体开销，并且可以与标准速率限制插件结合使用。
如何通过Kong AI Gateway动态选择LLM？
用户可以通过客户端请求的URL路径动态调用所需的模型，配置一次后可灵活调用不同模型，无需预先配置。
Kong AI Gateway如何增强内容安全管理？
Kong AI Gateway引入了基于Azure的内容安全能力，允许与多个内容安全服务集成，检测和过滤不和谐内容。
Kong AI Gateway的AI用量统计格式有什么变化？
Kong AI Gateway更新了AI请求的分析日志格式，以便用户更精细化地管理每个模型的消耗情况。
