再来一次:我们如何使用持久对象为AI Gateway添加WebSockets支持和身份验证

再来一次:我们如何使用持久对象为AI Gateway添加WebSockets支持和身份验证

💡 原文英文,约1500词,阅读约需6分钟。
📝

内容提要

截至2024年10月,AI Gateway已处理超过30亿日志,连接持续增长。为简化开发者管理,推出支持持久连接的WebSockets API,避免重复握手。新API需使用Cloudflare API令牌进行身份验证,用户可通过WebSocket持续发送请求、处理响应,并支持流式请求及eventId以识别请求。

🎯

关键要点

  • 截至2024年10月,AI Gateway已处理超过30亿日志,连接持续增长。
  • 推出支持持久连接的WebSockets API,避免重复握手。
  • 新API需使用Cloudflare API令牌进行身份验证,确保请求安全。
  • WebSockets API允许持续发送请求和处理响应,支持流式请求及eventId以识别请求。
  • 通过WebSocket连接,用户可以保持与AI Gateway的单一TCP连接。
  • 支持通过cf-aig-authorization头进行身份验证,确保请求的有效性。
  • 引入eventId字段以处理异步事件,帮助识别每个请求的响应。
  • AI Gateway的实时WebSocket API现已进入测试阶段,开放给所有用户。
  • 计划在2025年第一季度支持WebSocket到WebSocket连接,直接连接OpenAI的新实时API。

延伸问答

AI Gateway的WebSockets API有什么新功能?

AI Gateway的WebSockets API支持持久连接,避免重复握手,并允许持续发送请求和处理响应。

如何确保通过WebSockets API连接到AI Gateway的安全性?

连接需要使用Cloudflare API令牌进行身份验证,用户需在cf-aig-authorization头中发送有效的令牌。

eventId字段在WebSockets API中有什么作用?

eventId字段用于处理异步事件,帮助识别每个请求的响应,确保客户端能够准确匹配请求和响应。

AI Gateway的WebSockets API目前处于什么阶段?

AI Gateway的实时WebSocket API目前处于测试阶段,已向所有用户开放。

如何使用WebSockets API发送请求?

用户可以通过WebSocket连接发送JSON格式的请求,包含必要的参数和头信息。

未来AI Gateway会有哪些计划?

计划在2025年第一季度支持WebSocket到WebSocket连接,允许直接连接OpenAI的新实时API。

➡️

继续阅读