亚马逊AWS官方博客
·
基于 Lambda 实现 Claude3 的流式响应
内容提要
在大语言模型推理输出中，流式响应已成为必备功能之一。流式响应可以缩短从请求到输出第一个Token的时间，提高用户体验。流式响应分为模型的流式推理和后端程序将响应输出到客户端。技术方案有长轮询、WebSocket和SSE。使用Python Flask搭建SSE Demo，通过SSE技术将模型的流式推理结果推送到客户端。使用AWS Lambda实现SSE Demo，Lambda是无服务器计算服务，具有弹性和成本效率。Lambda流式响应有大小限制和带宽限制。建议使用Http-SSE实现流式响应。
关键要点
-
流式响应是大语言模型推理输出的必备功能，能提高用户体验。
-
流式响应分为模型的流式推理和后端程序将响应输出到客户端。
-
流式推理的主流模型支持流式推理，Claude3采用Message API。
-
流式响应的技术方案包括长轮询、WebSocket和SSE。
-
长轮询增加了请求-响应的往返时间，带来额外负载和资源浪费。
-
WebSocket实现全双工通信，但在Claude3场景中显得过于复杂。
-
HTTP SSE提供单向实时通信，适合流式响应，轻量级且易于实现。
-
使用Python Flask搭建SSE Demo，利用Flask的stream_with_context功能推送数据。
-
Flask在生产环境中存在可扩展性和管理上的劣势。
-
AWS Lambda是无服务器计算服务，适合实现流式响应，具有成本效率。
-
Lambda流式响应有大小限制和带宽限制，建议使用Http-SSE实现流式响应。
-
Lambda函数URL配置时建议Auth Type选择NONE以避免安全隐患。
-
API Gateway的LAMBDA_PROXY集成不支持流式响应，需使用HTTP_PROXY集成。
延伸问答
流式响应在大语言模型中的作用是什么？
流式响应可以缩短从请求到输出第一个Token的时间，提高用户体验。
Claude3是如何实现流式推理的？
Claude3采用Message API，支持多模态的数据输入，并通过Python代码实现流式推理。
流式响应的技术方案有哪些？
流式响应的技术方案包括长轮询、WebSocket和HTTP SSE。
为什么选择HTTP SSE而不是WebSocket？
HTTP SSE更轻量级且易于实现，适合单向实时通信，而WebSocket在Claude3场景中显得过于复杂。
AWS Lambda在流式响应中的优势是什么？
AWS Lambda是无服务器计算服务，具有成本效率和弹性，适合实现流式响应。
Lambda流式响应有哪些限制？
Lambda流式响应有大小限制（默认为20MB）和带宽限制，前6MB不受限制，之后最大2MBps。
