如何使用FastAPI和Streamlit提供多用户AI代理服务
内容提要
本教程介绍如何用FastAPI和Streamlit构建多用户本地AI代理。后端用LangChain、Ollama和Qwen模型，通过REST API提供流式响应，每个用户通过唯一ID保持独立会话记忆。前端用Streamlit实现聊天界面，支持实时显示。教程涵盖安装、代码实现、运行步骤，并建议生产环境需添加认证和持久化存储。
延伸解读
架构分离：FastAPI与Streamlit各司其职
本教程将AI代理拆分为后端API和前端UI两层。FastAPI负责暴露HTTP端点、验证请求和流式响应，而Streamlit仅作为轻量客户端，通过HTTP调用API并展示结果。这种分离使得后端可独立复用，前端可灵活替换，便于集成到更大的系统中。理解这一架构有助于设计可扩展的AI服务。
多用户会话隔离的实现机制
多用户支持的关键在于使用user_id作为线程标识符，通过LangChain的检查点机制为每个用户维护独立的对话历史。示例中，两个用户即使问相同问题，也会因各自的历史上下文得到不同回答。这种设计避免了共享状态导致的上下文混淆，是实现多用户AI服务的基础。
流式响应的交互体验优化
后端使用LangChain的stream_events和FastAPI的StreamingResponse实现流式输出，前端通过stream=True逐块接收并实时更新界面。用户无需等待完整回答即可开始阅读，显著提升了交互感。这种模式适用于长回答场景，但需注意网络传输和前端渲染的稳定性。
生产化前的关键改进点
教程明确指出，当前实现是功能性的最小示例，生产环境需补充认证、持久化存储、结构化日志、监控和更稳健的部署方案。此外，若追求快速搭建，可考虑LibreChat或Open WebUI等现成平台；本教程的价值在于理解底层架构和获得定制化控制。
Q&A
如何使用FastAPI和Streamlit构建多用户本地AI代理服务？
本教程介绍了如何用FastAPI作为后端提供REST API，用Streamlit作为前端聊天界面，结合LangChain、Ollama和Qwen模型构建多用户本地AI代理。后端通过/chat/stream端点接收用户消息和user_id，使用LangChain的agent和checkpointer保持每个用户的独立会话记忆，并通过StreamingResponse实现流式响应。前端Streamlit生成唯一user_id，发送请求并实时显示流式输出。
FastAPI在AI代理服务中扮演什么角色？
FastAPI作为后端框架，负责暴露HTTP端点（如/chat/stream），自动验证请求数据（通过Pydantic），支持异步和流式响应，并生成交互式API文档。它提供了清晰的边界，使AI代理可以通过HTTP被其他应用调用。
Streamlit在教程中如何与FastAPI后端交互？
Streamlit作为前端，通过HTTP POST请求调用FastAPI的/chat/stream端点，发送用户消息和user_id，并使用stream=True接收流式响应，实时显示在聊天界面中。它利用st.session_state存储user_id和聊天历史，确保每个浏览器会话独立。
如何实现多用户支持，确保每个用户的会话独立？
通过在每个请求中传递唯一的user_id，后端使用LangChain的checkpointer（InMemorySaver）将user_id作为thread_id，从而为每个用户维护独立的会话历史。这样不同用户的对话不会互相干扰。
如何安装和配置Ollama及Qwen模型？
首先安装Ollama应用，然后使用命令`ollama pull qwen3.5:4b`拉取模型（如果内存较小，可用qwen3.5:0.8b）。在Python代码中，通过ChatOllama(model=CHAT_MODEL)加载模型，其中CHAT_MODEL设置为'qwen3.5:4b'。
如何运行后端和前端应用？
后端：在终端运行`uvicorn app:app --reload --port 8001`，然后访问http://127.0.0.1:8001/docs查看API文档。前端：在另一个终端激活虚拟环境后运行`streamlit run streamlit_app.py`，浏览器打开http://localhost:8501/即可使用聊天界面。
生产环境部署前需要做哪些改进？
教程指出，生产环境需要添加认证、持久化存储、结构化日志、监控和更健壮的部署配置。此外，如果追求快速部署，可以考虑使用LibreChat或Open WebUI等现成平台，但本教程旨在展示自定义轻量级架构。
