使用FastAPI将Scikit-LLM流水线部署为REST API

使用FastAPI将Scikit-LLM流水线部署为REST API

💡 原文英文,约1500词,阅读约需6分钟。
📝

内容提要

本文介绍如何用FastAPI将Scikit-LLM零样本文本分类流水线部署为REST API:先配置Scikit-LLM连接本地Ollama模型(llama3)以替代付费云API,再用fit/predict语法构建分类器并用joblib序列化,随后在FastAPI中加载模型,提供异步/predict端点,通过asyncio.to_thread执行推理并支持批量输入;启动uvicorn后可在/docs页面测试并返回对应标签。该方案开源、本地自托管,可降低成本和延迟。

🔎

延伸解读

零样本分类的封闭标签集限制

文章指出,该分类器依赖fit()时传入的标签集y,并未更新LLM权重。推理时,任何输入都会被强制映射到预设标签之一,相当于给模型一个封闭的“世界观”。这提升了输出的可靠性和可预测性,但也意味着无法识别标签集之外的新类别。读者需注意:若业务场景可能出现未知类别,应提前扩充标签集或设计兜底策略。

本地Ollama替代云API的配置要点

文章通过SKLLMConfig.set_gpt_url将Scikit-LLM指向本地Ollama服务(http://localhost:11434/v1/),并设置虚拟API密钥。模型名需写成“custom_url::llama3”格式。这种配置在训练和部署阶段都要重复执行,因为服务环境需要重新应用。读者应注意:本地模型虽能降低成本和延迟,但推理速度仍取决于本地硬件,且需确保Ollama服务在API启动前已运行。

异步端点与线程卸载的实践意义

FastAPI的/predict端点被定义为async,但Scikit-LLM的predict是阻塞式I/O操作。文章使用asyncio.to_thread将其卸载到后台线程,避免阻塞事件循环。这一细节对实际部署很重要:若不这样做,单个推理请求可能拖慢整个服务。此外,端点支持批量输入,一次返回多个预测结果,适合需要处理多条文本的场景。

模型序列化与生命周期管理

文章用joblib将训练好的分类器序列化为文件,并在FastAPI的lifespan中加载到内存,启动时加载、关闭时清理。这种模式避免了每次请求都重新加载模型,提升了响应效率。读者需注意:序列化文件需与部署环境中的Scikit-LLM版本兼容,且模型加载依赖本地Ollama服务可用,否则推理会失败并返回500错误。

❓

Q&A

如何让Scikit-LLM使用本地Ollama模型而不是付费云API?

通过SKLLMConfig.set_gpt_url("http://localhost:11434/v1/")设置本地Ollama的API地址,并用SKLLMConfig.set_openai_key("ollama-dummy")设置一个虚拟密钥,然后在创建ZeroShotGPTClassifier时指定model="custom_url::llama3"即可。

怎么用Scikit-LLM构建并保存一个零样本文本分类器?

使用ZeroShotGPTClassifier,通过fit(X, y)传入示例文本和对应标签进行“训练”(实际是存储标签集),然后用joblib.dump(clf, "scikit_llm_model.joblib")将分类器序列化保存到文件。

FastAPI中如何加载序列化的Scikit-LLM模型并提供预测接口?

在FastAPI的lifespan异步上下文中用joblib.load加载模型到内存字典,定义POST /predict端点,接收包含texts列表的请求体,调用clf.predict进行推理,并用asyncio.to_thread将阻塞调用放到后台线程,最后返回预测结果列表。

部署后的API如何测试?支持批量输入吗?

启动uvicorn后访问http://127.0.0.1:8000/docs,在/predict端点点击“Try it out”,输入包含多个文本的JSON(如{"texts": ["文本1", "文本2"]}),执行后即可返回每个文本对应的预测标签,支持一次处理多个输入。

这个方案相比使用云API有什么优势?

该方案使用开源栈(Scikit-LLM、FastAPI、Ollama)本地自托管,避免了云API的费用和商业锁定,同时降低延迟,并且通过异步端点提高响应速度。

零样本分类器是如何工作的?它真的训练了模型吗?

它并没有更新LLM的权重,而是将fit时传入的标签集存储起来,推理时强制模型从这些封闭的类别中选择一个,类似于给模型一个多选题,从而增加输出的可靠性和可预测性,但限制了模型对世界的“视野”。

🏷️

标签

➡️

继续阅读