AI Gateway现已支持OpenAI Responses API的WebSocket模式
内容提要
AI Gateway新增WebSocket模式，支持OpenAI Responses API持久连接。用户无需每次重新发送完整上下文，只需发送新输入和previous_response_id即可继续对话。OpenAI称，在20次以上工具调用的代理场景中，端到端执行速度提升约40%。该模式兼容store=false和零数据保留，遵循OpenAI规范。
延伸解读
持久连接减少重复传输
WebSocket模式的核心优势在于，对话过程中无需每次重新发送完整上下文。只需传递新输入和previous_response_id，即可延续对话。这减少了重复数据的传输，尤其适合多轮交互或工具调用频繁的代理场景，能有效降低延迟和带宽消耗。
性能提升的适用场景
OpenAI报告称，在包含20次以上工具调用的代理场景中，端到端执行速度提升约40%。这意味着，对于简单的一次性请求，提升可能不明显；但对于复杂的多步骤任务，如自动化工作流或需要多次调用外部工具的AI代理，WebSocket模式能显著改善响应时间。
数据保留与合规性
该模式兼容store=false和零数据保留，遵循OpenAI的规范。这意味着开发者可以在不存储对话数据的情况下使用WebSocket，有助于满足隐私保护或合规要求。对于处理敏感信息的应用，这一特性尤为重要。
Q&A
AI Gateway新增的WebSocket模式有什么优势？
AI Gateway新增的WebSocket模式允许保持持久连接，用户只需发送新的输入和previous_response_id即可继续对话，无需每次重新发送完整上下文。OpenAI报告称，在20次以上工具调用的代理场景中，端到端执行速度提升约40%。
如何使用AI Gateway的WebSocket模式连接OpenAI Responses API？
使用WebSocket连接到wss://ai-gateway.vercel.sh/v1/responses，并在请求头中携带Authorization Bearer令牌。连接后发送response.create帧，包含model、input等参数。收到response.completed事件后，可发送包含previous_response_id的新response.create帧继续对话。
AI Gateway的WebSocket模式是否支持数据保留选项？
是的，该模式兼容store=false和零数据保留（Zero Data Retention），遵循OpenAI的WebSocket模式规范。
AI Gateway的WebSocket模式遵循什么规范？
AI Gateway的WebSocket模式遵循OpenAI的WebSocket模式规范（upstream specification）。
在WebSocket模式下，如何继续多轮对话？
在WebSocket模式下，收到response.completed事件后，发送新的response.create帧，并包含previous_response_id字段，值为上一轮响应的ID，同时提供新的输入。这样无需重新发送完整上下文。
AI Gateway的WebSocket模式在什么场景下性能提升明显？
OpenAI报告称，在代理场景中，当工具调用次数达到20次或更多时，使用WebSocket模式端到端执行速度提升约40%。
