Voyage AI
·
介绍Batch API：简化大规模工作负载的高效解决方案
内容提要
我们推出了Batch API，这是一个高效处理大量请求的异步端点。与OpenAI相比，Batch API提供12小时的完成窗口，支持最大1GB文件、10万输入和10亿令牌，成本节省33%。它简化了大规模工作流程，适合离线处理和大规模评估。
关键要点
-
推出Batch API，这是一个高效处理大量请求的异步端点。
-
Batch API简化了工作流程，消除了管理同步请求的复杂性。
-
与OpenAI相比，Batch API提供12小时的完成窗口，适合夜间运行。
-
支持最大1GB文件、10万输入和10亿令牌，提供更高的吞吐量。
-
Batch API的成本节省33%，是可扩展且经济高效的选择。
-
Batch API引入新的文件API用于管理输入和输出文件。
-
用户需创建JSONL文件并通过文件API上传请求，结果在12小时内返回。
-
Batch API与OpenAI Batch API完全兼容，便于迁移。
-
提供文档和示例笔记本，帮助用户快速上手。
延伸解读
Batch API的优势
Batch API通过异步处理大量请求，简化了工作流程，消除了同步请求管理的复杂性。相比于OpenAI，Batch API的12小时完成窗口适合夜间运行，能够有效提升白天的工作效率。
适用场景与成本效益
Batch API特别适合不需要实时处理的工作负载，如离线向量化和大规模评估。其33%的成本节省使其成为可扩展且经济高效的选择，适合大规模应用。
文件管理与兼容性
Batch API引入了新的文件API，用户需创建JSONL文件上传请求，结果将在12小时内返回。该API与OpenAI Batch API完全兼容，便于用户迁移和快速上手。
延伸问答
Batch API的主要功能是什么？
Batch API是一个异步端点，旨在高效处理大量请求，简化工作流程，消除管理同步请求的复杂性。
Batch API与OpenAI的主要区别是什么？
Batch API提供12小时的完成窗口，支持最大1GB文件、10万输入和10亿令牌，且成本节省33%。
如何使用Batch API处理请求？
用户需创建JSONL文件并通过文件API上传请求，结果将在12小时内返回。
Batch API适合哪些使用场景？
Batch API适合离线处理和大规模评估等不需要实时处理的工作负载。
Batch API的成本效益如何？
Batch API提供33%的成本节省，是一个可扩展且经济高效的选择。
如何开始使用Batch API？
用户可以查看文档，Batch API与OpenAI Batch API完全兼容，便于迁移。
