The Cloudflare Blog
·
Workers AI获得速度提升、批量工作负载支持、更多LoRA、新模型和全新仪表板
💡
原文英文，约2300词，阅读约需9分钟。
📝
内容提要
自2023年9月推出以来，Workers AI团队致力于提升平台质量，推出了快速推理的投机解码、异步批处理API和扩展的LoRA支持，显著提升了推理速度和用户体验。
🎯
关键要点
- Workers AI团队自2023年9月推出以来，致力于提升平台质量。
- 推出了快速推理的投机解码、异步批处理API和扩展的LoRA支持。
- 投机解码技术使推理速度提高了2-4倍，且不影响生成答案的质量。
- 前置缓存技术减少了请求的预填充时间，提高了响应速度。
- 异步批处理API允许用户异步接收推理响应，适用于大工作负载。
- 扩展的LoRA支持允许用户使用训练好的适配器文件来调整模型响应。
- 推出了新的仪表板，用户可以查看使用情况和定价信息。
- 新增了超过10个模型，包括多语言嵌入模型和文本到语音模型。
- 对现有模型进行了更新，以提高性能和用户体验。
➡️
