Kimi K3与Kimi K3 Fast现已在AI Gateway上线,支持ZDR及美国提供商

Kimi K3与Kimi K3 Fast现已在AI Gateway上线,支持ZDR及美国提供商

💡 原文英文,约500词,阅读约需2分钟。
📝

内容提要

Kimi K3模型现可通过AI Gateway在美国提供商(如Baseten和Fireworks)使用,支持零数据保留和指定美国区域推理。提供标准版和快速版(成本高50%),支持故障转移和高可用性。开发者可通过AI SDK或API调用,并查看各提供商的价格和性能。

🔎

延伸解读

数据驻留与合规

Kimi K3 现可通过美国提供商(如 Baseten 和 Fireworks)使用,支持零数据保留(ZDR)和指定美国区域推理。对于有数据驻留和合规要求的团队,这提供了在符合当地法规的基础设施上运行模型的能力。区域推理定价比常规版本高约10%,但可确保推理仅在美国数据中心进行。

成本与性能权衡

Kimi K3 Fast 以更高的每 token 成本(约高50%)换取更低延迟。开发者可通过在基础模型上设置 speed 选项来请求快速路径,当快速路径不可用时自动回退到标准速度。这种设计允许在成本和性能之间灵活选择,适合对延迟敏感的应用。

多提供商路由与高可用性

AI Gateway 从多个提供商提供 Kimi K3,自动进行故障转移和负载均衡,提高可用性和吞吐量。开发者只需使用统一的模型 ID(moonshotai/kimi-k3),网关负责提供商选择和回退。这简化了集成,并增强了服务的可靠性。

Q&A

Kimi K3模型现在可以通过哪些美国提供商在AI Gateway上使用?

Kimi K3模型现在可以通过AI Gateway上的美国提供商使用,包括Baseten和Fireworks。

Kimi K3 Fast与标准版Kimi K3在成本和性能上有什么区别?

Kimi K3 Fast的每token成本比标准版高约50%,但延迟更低。标准版通过设置speed选项为'fast'来请求快速版,当快速版不可用时自动回退到标准速度。

如何将Kimi K3的推理限制在美国数据中心?

在AI SDK中设置providerOptions.gateway.inferenceRegion为{ scope: 'zone', geoRegion: 'us' },即可将推理路由到美国数据中心。区域定价比常规版本贵约10%。

如何为Kimi K3启用零数据保留(ZDR)?

可以在AI Gateway仪表板设置中为每个请求启用零数据保留,或者在请求中设置providerOptions.gateway.zeroDataRetention为true。

AI Gateway如何保证Kimi K3的高可用性和故障转移?

AI Gateway从多个提供商提供Kimi K3,自动在提供商之间路由,实现故障转移、更高的正常运行时间和比单一提供商更多的可用吞吐量。

在哪里可以查看Kimi K3的提供商列表、价格和性能数据?

可以通过调用模型端点API(curl https://ai-gateway.vercel.sh/v1/models/moonshotai/kimi-3/endpoints)查看每个提供商的定价、支持的参数、正常运行时间、吞吐量和延迟。

如何在编码代理中设置Kimi K3?

运行vercel ai-gateway coding-agents setup并选择Kimi K3,它会检测你机器上的代理,配置AI Gateway密钥并写入配置。

🏷️

标签

➡️

继续阅读