The Cloudflare Blog
·
驱动代理：Workers AI现已支持大型模型，首个为Kimi K2.5
💡
原文英文，约2000词，阅读约需7分钟。
📝
内容提要
Cloudflare推出Workers AI，支持Kimi K2.5模型，具备256k上下文窗口，优化代理构建与执行，降低成本。新功能包括前缀缓存和异步API，提升性能与效率，便于开发者使用。
🎯
关键要点
- Cloudflare推出Workers AI，支持Kimi K2.5模型，具备256k上下文窗口。
- Workers AI优化代理构建与执行，降低成本，提升性能与效率。
- Kimi K2.5模型适用于多种代理任务，具备高推理能力和大上下文窗口。
- 使用Kimi K2.5模型的代理在安全审查中表现出色，成本节省达到77%。
- 随着AI的普及，企业将转向开源模型以降低成本，Workers AI提供支持。
- Workers AI推出前缀缓存和异步API，提升代理构建的效率。
- 前缀缓存技术减少了预填充阶段的计算时间，提高了吞吐量。
- 异步API允许批量推理，避免容量错误，适用于非实时用例。
- Workers AI的优化技术使得开发者无需深厚的机器学习背景即可使用。
- Kimi K2.5现已成为Agents SDK的默认模型，开发者可通过文档获取更多信息。
❓
延伸问答
Workers AI支持哪些模型？
Workers AI目前支持Kimi K2.5模型，具备256k上下文窗口。
Kimi K2.5模型的优势是什么？
Kimi K2.5模型具有高推理能力和大上下文窗口，适用于多种代理任务。
Workers AI如何降低代理构建的成本？
通过优化代理构建与执行，Workers AI使得使用Kimi K2.5模型的代理在安全审查中节省了77%的成本。
什么是前缀缓存，它有什么作用？
前缀缓存技术可以缓存之前请求的输入张量，从而减少预填充阶段的计算时间，提高吞吐量。
Workers AI的新异步API有什么优势？
新异步API允许批量推理，避免容量错误，适用于非实时用例，确保请求能够在有空余时执行。
开发者如何使用Kimi K2.5模型？
开发者可以通过Workers AI的文档获取Kimi K2.5模型的使用信息，并通过API进行调用。
🏷️
标签
➡️
