The Cloudflare Blog
·
Workers AI获得速度提升、批量工作负载支持、更多LoRA、新模型和全新仪表板
内容提要
自2023年9月推出以来，Workers AI团队致力于提升平台质量，推出了快速推理的投机解码、异步批处理API和扩展的LoRA支持，显著提升了推理速度和用户体验。
关键要点
-
Workers AI团队自2023年9月推出以来，致力于提升平台质量。
-
推出了快速推理的投机解码、异步批处理API和扩展的LoRA支持。
-
投机解码技术使推理速度提高了2-4倍，且不影响生成答案的质量。
-
前置缓存技术减少了请求的预填充时间，提高了响应速度。
-
异步批处理API允许用户异步接收推理响应，适用于大工作负载。
-
扩展的LoRA支持允许用户使用训练好的适配器文件来调整模型响应。
-
推出了新的仪表板，用户可以查看使用情况和定价信息。
-
新增了超过10个模型，包括多语言嵌入模型和文本到语音模型。
-
对现有模型进行了更新，以提高性能和用户体验。
延伸解读
推理速度的显著提升
Workers AI通过投机解码技术实现了推理速度提高2-4倍，这对于需要快速响应的应用场景尤为重要。用户在处理大量请求时，可以显著减少等待时间，从而提升整体工作效率。
异步批处理API的优势
新推出的异步批处理API允许用户在处理大工作负载时异步接收推理响应。这种方式特别适合不需要即时反馈的任务，如文档摘要生成，确保用户的请求能够得到及时处理而不被容量限制影响。
LoRA支持的扩展
Workers AI现在支持更多的LoRA适配器，使用户能够更灵活地调整模型响应。与传统的微调相比，LoRA适配器更小、更便携，适合快速适应不同的应用场景，降低了使用门槛。
延伸问答
Workers AI的推理速度提升了多少？
推理速度提升了2-4倍。
什么是投机解码技术？
投机解码技术通过使用一个小模型预测未来多个token，从而加快推理速度。
异步批处理API的主要用途是什么？
异步批处理API允许用户异步接收推理响应，适用于大工作负载。
LoRA支持的扩展有什么新变化？
现在支持8个模型，LoRA文件大小可达500MB，且支持更大的适配器秩。
Workers AI推出了哪些新模型？
新增了超过10个模型，包括多语言嵌入模型和文本到语音模型。
如何使用Workers AI的批处理API？
用户可以通过发送一个包含请求数组的HTTP请求来使用批处理API。
