💡
原文英文,约1500词,阅读约需6分钟。
📝
内容提要
截至2024年10月,AI Gateway已处理超过30亿日志,连接持续增长。为简化开发者管理,推出支持持久连接的WebSockets API,避免重复握手。新API需使用Cloudflare API令牌进行身份验证,用户可通过WebSocket持续发送请求、处理响应,并支持流式请求及eventId以识别请求。
🎯
关键要点
- 截至2024年10月,AI Gateway已处理超过30亿日志,连接持续增长。
- 推出支持持久连接的WebSockets API,避免重复握手。
- 新API需使用Cloudflare API令牌进行身份验证,确保请求安全。
- WebSockets API允许持续发送请求和处理响应,支持流式请求及eventId以识别请求。
- 通过WebSocket连接,用户可以保持与AI Gateway的单一TCP连接。
- 支持通过cf-aig-authorization头进行身份验证,确保请求的有效性。
- 引入eventId字段以处理异步事件,帮助识别每个请求的响应。
- AI Gateway的实时WebSocket API现已进入测试阶段,开放给所有用户。
- 计划在2025年第一季度支持WebSocket到WebSocket连接,直接连接OpenAI的新实时API。
❓
延伸问答
AI Gateway的WebSockets API有什么新功能?
AI Gateway的WebSockets API支持持久连接,避免重复握手,并允许持续发送请求和处理响应。
如何确保通过WebSockets API连接到AI Gateway的安全性?
连接需要使用Cloudflare API令牌进行身份验证,用户需在cf-aig-authorization头中发送有效的令牌。
eventId字段在WebSockets API中有什么作用?
eventId字段用于处理异步事件,帮助识别每个请求的响应,确保客户端能够准确匹配请求和响应。
AI Gateway的WebSockets API目前处于什么阶段?
AI Gateway的实时WebSocket API目前处于测试阶段,已向所有用户开放。
如何使用WebSockets API发送请求?
用户可以通过WebSocket连接发送JSON格式的请求,包含必要的参数和头信息。
未来AI Gateway会有哪些计划?
计划在2025年第一季度支持WebSocket到WebSocket连接,允许直接连接OpenAI的新实时API。
➡️