The Cloudflare Blog
·
Workers AI获得速度提升、批量工作负载支持、更多LoRA、新模型和全新仪表板
💡
原文英文，约2300词，阅读约需9分钟。
📝
内容提要
自2023年9月推出以来，Workers AI团队致力于提升平台质量，推出了快速推理的投机解码、异步批处理API和扩展的LoRA支持，显著提升了推理速度和用户体验。
🎯
关键要点
- Workers AI团队自2023年9月推出以来，致力于提升平台质量。
- 推出了快速推理的投机解码、异步批处理API和扩展的LoRA支持。
- 投机解码技术使推理速度提高了2-4倍，且不影响生成答案的质量。
- 前置缓存技术减少了请求的预填充时间，提高了响应速度。
- 异步批处理API允许用户异步接收推理响应，适用于大工作负载。
- 扩展的LoRA支持允许用户使用训练好的适配器文件来调整模型响应。
- 推出了新的仪表板，用户可以查看使用情况和定价信息。
- 新增了超过10个模型，包括多语言嵌入模型和文本到语音模型。
- 对现有模型进行了更新，以提高性能和用户体验。
❓
延伸问答
Workers AI的推理速度提升了多少？
推理速度提升了2-4倍。
什么是投机解码技术？
投机解码技术通过使用一个小模型预测未来多个token，从而加快推理速度。
异步批处理API的主要用途是什么？
异步批处理API允许用户异步接收推理响应，适用于大工作负载。
LoRA支持的扩展有什么新变化？
现在支持8个模型，LoRA文件大小可达500MB，且支持更大的适配器秩。
Workers AI推出了哪些新模型？
新增了超过10个模型，包括多语言嵌入模型和文本到语音模型。
如何使用Workers AI的批处理API？
用户可以通过发送一个包含请求数组的HTTP请求来使用批处理API。
➡️
