长连接:ChatGPT流式响应背后的逻辑 | 京东物流技术团队
原文中文,约3500字,阅读约需9分钟。
📝
内容提要
长连接是一种在一次网络通信中客户端与服务器之间建立持久连接的方式,可以在多次请求和响应中重复使用该连接,减少了连接建立和关闭的开销,提高了通信效率。最近项目组决定采用答案逐字返回的形式,以提高用户的使用体验。长连接技术主要考虑了WebSocket和SSE两种方案。WebSocket实现了双向通信,但服务器端逻辑复杂;SSE允许服务器将数据推送到客户端,节约资源,但只能后台向前台推送。chatgpt中可以使用fetchEventSource实现SSE的应用,或使用WebSocket实现即时聊天的应用。
🏷️