Amazon Bedrock 现已支持 Kimi K3

Amazon Bedrock 现已支持 Kimi K3

💡 原文中文,约5100字,阅读约需12分钟。
📝

内容提要

Amazon Bedrock 上线 Moonshot AI 的 Kimi K3 开放权重模型,参数量 2.8 万亿,支持原生视觉与 100 万 Token 上下文,适用于长周期编程和知识工作。该模型是 Bedrock 首个支持显式提示词缓存的开放权重模型,可降低延迟和输入成本。数据在 AWS 边界内处理,不共享给模型提供商,并启用零数据留存和零运维访问。用户可通过控制台或 API 调用,支持全局和美国区域配置文件。

🔎

延伸解读

显式提示词缓存的实际收益与成本

Kimi K3 是 Bedrock 上首个支持显式提示词缓存的开放权重模型。对于重复发送固定上下文(如代码库说明、工具定义)的长周期工作流,缓存命中后可降低延迟和输入 Token 成本,且命中 Token 不计入每分钟输入配额。但需注意:写入缓存的 Token 按较高费率计费,缓存至少保留 30 分钟,且可复用前缀至少需 1,024 个 Token。因此,缓存更适合高频重复使用相同前缀的场景,否则可能不划算。

跨区域推理配置文件的选择与数据驻留

Kimi K3 支持全局(global.)和美国地理区域(us.)两种跨区域推理配置文件。全局配置文件将请求路由到全球任一受支持的 AWS 商业区域,成本比地理区域配置文件低约 10%,适合无区域限制的工作负载。美国地理区域配置文件则将处理限制在美国境内,满足数据驻留要求。用户需根据合规需求与成本权衡选择。

数据安全与隐私保护机制

在 Amazon Bedrock 上使用 Kimi K3 时,数据在 AWS 数据边界内处理,不会与模型提供商共享,也不会用于训练底层模型。推理请求始终启用零数据留存,零运维人员访问机制确保 AWS 运维人员也无法在推理过程中访问提示词和模型输出。这些措施让企业能在利用开放权重模型的同时保持对数据的控制,无需改变现有安全态势。

集成方式与工具生态

除了通过控制台或 API 直接调用,Kimi K3 还可集成到多种编程助手和智能体框架中。例如,开源编程智能体 OpenCode 原生支持通过 Converse API 访问 Bedrock 模型,配置后自动发现可用模型;生产力助手 Hermes Agent 也原生支持 Bedrock,可通过终端配置选择 Kimi K3。这些工具支持兼容 OpenAI 的接口,降低了迁移和试用成本。

❓

Q&A

Kimi K3 模型在 Amazon Bedrock 上有什么主要特点?

Kimi K3 是 Moonshot AI 能力最强的开放权重模型,参数量达 2.8 万亿,支持原生视觉和 100 万 Token 上下文窗口,扩展效率约为 Kimi K2 的 2.5 倍,适合长时间运行的编程与知识工作流。

在 Amazon Bedrock 上使用 Kimi K3 时,数据安全和隐私如何保障?

数据在 AWS 数据边界内处理,不会与模型提供商共享,也不会用于训练底层模型。推理请求始终启用零数据留存机制,零运维人员访问机制确保 AWS 运维人员也无法在推理过程中访问提示词和模型输出。

Kimi K3 的显式提示词缓存功能如何帮助降低成本?

显式提示词缓存允许标记可复用的提示词前缀(至少 1,024 Token),后续匹配请求可复用缓存内容,降低响应延迟和输入 Token 成本。缓存写入按较高费率计费,但缓存保留至少 30 分钟;命中缓存的输入 Token 按折扣费率计费,且不计入每分钟输入 Token 数配额。

如何通过编程方式调用 Amazon Bedrock 上的 Kimi K3?

可以使用 bedrock-runtime 端点,支持兼容 OpenAI 的 Responses 和 Chat Completions API,以及 Amazon Bedrock 的 Invoke 和 Converse API。需使用跨区域推理配置文件,如 global.moonshotai.kimi-k3 或 us.moonshotai.kimi-k3。

全局和美国地理区域推理配置文件有什么区别?

全局配置文件 global.moonshotai.kimi-k3 将每个请求路由到全球任一受支持的 AWS 商业区域,成本比地理区域配置文件低约 10%。美国地理区域配置文件 us.moonshotai.kimi-k3 将处理限制在美国境内,以满足数据驻留要求。

有哪些编程助手或智能体工具可以配合 Kimi K3 使用?

可以使用 OpenCode 等编程助手,它原生支持通过 Converse API 访问模型的 amazon-bedrock 提供方。也可以使用 Hermes Agent 等生产力智能体,它原生支持 Amazon Bedrock 上的模型,可用于深度研究、任务自动化等场景。

🏷️

标签

➡️

继续阅读