Voyage AI
·
介绍Batch API：简化大规模工作负载的高效解决方案
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
我们推出了Batch API，这是一个高效处理大量请求的异步端点。与OpenAI相比，Batch API提供12小时的完成窗口，支持最大1GB文件、10万输入和10亿令牌，成本节省33%。它简化了大规模工作流程，适合离线处理和大规模评估。
🎯
关键要点
- 推出Batch API，这是一个高效处理大量请求的异步端点。
- Batch API简化了工作流程，消除了管理同步请求的复杂性。
- 与OpenAI相比，Batch API提供12小时的完成窗口，适合夜间运行。
- 支持最大1GB文件、10万输入和10亿令牌，提供更高的吞吐量。
- Batch API的成本节省33%，是可扩展且经济高效的选择。
- Batch API引入新的文件API用于管理输入和输出文件。
- 用户需创建JSONL文件并通过文件API上传请求，结果在12小时内返回。
- Batch API与OpenAI Batch API完全兼容，便于迁移。
- 提供文档和示例笔记本，帮助用户快速上手。
❓
延伸问答
Batch API的主要功能是什么？
Batch API是一个异步端点，旨在高效处理大量请求，简化工作流程，消除管理同步请求的复杂性。
Batch API与OpenAI的主要区别是什么？
Batch API提供12小时的完成窗口，支持最大1GB文件、10万输入和10亿令牌，且成本节省33%。
如何使用Batch API处理请求？
用户需创建JSONL文件并通过文件API上传请求，结果将在12小时内返回。
Batch API适合哪些使用场景？
Batch API适合离线处理和大规模评估等不需要实时处理的工作负载。
Batch API的成本效益如何？
Batch API提供33%的成本节省，是一个可扩展且经济高效的选择。
如何开始使用Batch API？
用户可以查看文档，Batch API与OpenAI Batch API完全兼容，便于迁移。
➡️
