AI Gateway新增WebSocket模式，支持OpenAI Responses API持久连接。用户无需每次重新发送完整上下文，只需发送新输入和previous_response_id即可继续对话。OpenAI称，在20次以上工具调用的代理场景中，端到端执行速度提升约40%。该模式兼容store=false和零数据保留，遵循OpenAI规范。

gRPC相较于传统REST的主要优势在于使用单一的持久连接，支持双向消息交换，减少延迟，适合在线游戏、聊天系统和物联网等需要高效速度的应用。

HTTP协议经历了从HTTP/1.0到HTTP/2.0的演变，逐步优化了连接方式和性能。HTTP/1.0使用短连接，性能较差；HTTP/1.1引入持久连接和请求优先级；HTTP/2.0实现多路复用和头部压缩，显著提升效率。

WebSockets实现客户端与服务器之间的快速双向通信，保持持久连接，降低延迟，提高效率，广泛应用于聊天、实时股票更新和在线游戏。

截至2024年10月，AI Gateway已处理超过30亿日志，连接持续增长。为简化开发者管理，推出支持持久连接的WebSockets API，避免重复握手。新API需使用Cloudflare API令牌进行身份验证，用户可通过WebSocket持续发送请求、处理响应，并支持流式请求及eventId以识别请求。