Kong 3.7重磅上线！Kong AI Gateway 正式 GA！🦍
内容提要
Kong Gateway 3.7版本上线，AI Gateway带来一系列升级，包括SaaS解决方案部署在云端和Konnect Dedicated Cloud Gateways选项。新增OpenAI SDK和流式AI消息支持，以及基于Token的高级限流和基于Azure的内容安全能力。还新增了URL动态选择LLM和支持Anthropic Claude 2.1 Messages API。更新了AI用量统计的格式。
延伸解读
GA 意味着什么？
Kong AI Gateway 达到通用可用性（GA）阶段，标志着其已具备生产环境所需的稳定性和支持。企业可以更有信心地将其用于关键 AI 应用，而无需担心早期采用的风险。GA 通常意味着 API 稳定、有官方支持，适合大规模部署。
统一 API 与 SDK 兼容性
通过 OpenAI API 规范统一访问所有 LLM，并原生支持 OpenAI SDK，开发者可以复用现有代码，无需修改即可切换不同模型。这降低了多模型集成的复杂度，加快了 AI 应用的开发速度，尤其适合已使用 OpenAI 生态的团队。
企业级管控能力
基于 Token 的高级限流和 Azure 内容安全插件，为企业提供了精细化的 AI 资源管理和内容合规手段。Token 限流能有效控制成本，而内容安全则确保所有 LLM 的 prompt 请求符合策略，两者结合可满足企业级治理需求。
灵活性与可观测性提升
支持通过 URL 动态选择 LLM 和 Anthropic Claude 2.1 Messages API，增强了调用灵活性，方便团队试验不同模型。同时，更新的 AI 用量统计格式提供了更细粒度的消耗数据，有助于企业进行成本分析和优化。
Q&A
Kong AI Gateway 3.7版本有哪些主要新功能？
Kong AI Gateway 3.7版本新增了SaaS云端部署、OpenAI SDK支持、流式AI消息、基于Token的限流、Azure内容安全能力、动态选择LLM和支持Anthropic Claude 2.1 API等功能。
Kong AI Gateway如何支持流式AI消息？
Kong AI Gateway通过' ai-proxy'插件原生支持流式交互，允许实时发送响应，用户可以通过设置请求体中的流式请求属性来启用此功能。
Kong AI Gateway的基于Token的限流能力有什么优势？
基于Token的限流能力帮助企业更好地管理不同团队的AI资源消耗，控制整体开销，并且可以与标准速率限制插件结合使用。
如何通过Kong AI Gateway动态选择LLM？
用户可以通过客户端请求的URL路径动态调用所需的模型，配置一次后可灵活调用不同模型，无需预先配置。
Kong AI Gateway如何增强内容安全管理？
Kong AI Gateway引入了基于Azure的内容安全能力，允许与多个内容安全服务集成，检测和过滤不和谐内容。
Kong AI Gateway的AI用量统计格式有什么变化？
Kong AI Gateway更新了AI请求的分析日志格式，以便用户更精细化地管理每个模型的消耗情况。
