The Cloudflare Blog
·
驱动代理：Workers AI现已支持大型模型，首个为Kimi K2.5
内容提要
Cloudflare推出Workers AI，支持Kimi K2.5模型，具备256k上下文窗口，优化代理构建与执行，降低成本。新功能包括前缀缓存和异步API，提升性能与效率，便于开发者使用。
关键要点
-
Cloudflare推出Workers AI，支持Kimi K2.5模型，具备256k上下文窗口。
-
Workers AI优化代理构建与执行，降低成本，提升性能与效率。
-
Kimi K2.5模型适用于多种代理任务，具备高推理能力和大上下文窗口。
-
使用Kimi K2.5模型的代理在安全审查中表现出色，成本节省达到77%。
-
随着AI的普及，企业将转向开源模型以降低成本，Workers AI提供支持。
-
Workers AI推出前缀缓存和异步API，提升代理构建的效率。
-
前缀缓存技术减少了预填充阶段的计算时间，提高了吞吐量。
-
异步API允许批量推理，避免容量错误，适用于非实时用例。
-
Workers AI的优化技术使得开发者无需深厚的机器学习背景即可使用。
-
Kimi K2.5现已成为Agents SDK的默认模型，开发者可通过文档获取更多信息。
延伸解读
Kimi K2.5模型的优势
Kimi K2.5模型具备256k的上下文窗口，适合多种代理任务，尤其在安全审查中表现出色。使用该模型的代理在成本上节省了77%，显示出其在高推理能力和经济性上的优势，适合企业在AI普及背景下的需求。
前缀缓存与异步API的应用
Workers AI引入的前缀缓存技术显著提高了代理构建的效率，减少了计算时间。异步API的改进则允许批量推理，适用于非实时场景，帮助开发者更好地管理请求，避免容量错误，提升整体性能。
开源模型的未来趋势
随着AI技术的普及，企业越来越倾向于使用开源模型以降低成本。Workers AI的推出为这一转变提供了支持，使得开发者能够在无需深厚机器学习背景的情况下，轻松构建和优化代理应用。
延伸问答
Workers AI支持哪些模型？
Workers AI目前支持Kimi K2.5模型，具备256k上下文窗口。
Kimi K2.5模型的优势是什么？
Kimi K2.5模型具有高推理能力和大上下文窗口，适用于多种代理任务。
Workers AI如何降低代理构建的成本？
通过优化代理构建与执行，Workers AI使得使用Kimi K2.5模型的代理在安全审查中节省了77%的成本。
什么是前缀缓存，它有什么作用？
前缀缓存技术可以缓存之前请求的输入张量，从而减少预填充阶段的计算时间，提高吞吐量。
Workers AI的新异步API有什么优势？
新异步API允许批量推理，避免容量错误，适用于非实时用例，确保请求能够在有空余时执行。
开发者如何使用Kimi K2.5模型？
开发者可以通过Workers AI的文档获取Kimi K2.5模型的使用信息，并通过API进行调用。
