使用 Scikit-LLM 进行少样本文本分类
内容提要
Scikit-LLM 是一个 Python 库，将预训练大语言模型封装为 scikit-learn 风格的 fit() 和 predict() 接口，无需重新训练模型。文章以 IT 支持工单分类为例，演示少样本分类：仅需 3 至 5 个带标签示例即可引导模型准确分类新文本，效果优于零样本分类，尤其适合领域特定任务。
延伸解读
少样本分类的适用场景
文章指出，少样本分类特别适合领域特定任务，例如IT支持工单分类，其中文本包含特定术语、边缘情况或细微情感。与零样本分类相比，提供3到5个带标签示例能更有效地引导模型，提升分类准确率。
Scikit-LLM 的 fit() 与 predict() 机制
Scikit-LLM 将预训练大语言模型封装为 scikit-learn 风格的接口。fit() 方法并不更新模型权重，而是构建包含少量标注示例的提示记忆；predict() 则利用该记忆对新文本进行分类，无需重新训练模型。
使用 Groq API 的实践要点
文章示例使用 Groq 的免费 LLM API，需在 Google Colab 中设置 GROQ_API_KEY 秘密变量，并通过 SKLLMConfig 配置 OpenAI 兼容端点。模型名称需添加 custom_url:: 前缀，如 custom_url::openai/gpt-oss-20b。
Q&A
Scikit-LLM 是什么？它和 scikit-learn 有什么关系？
Scikit-LLM 是一个 Python 库，它将预训练大语言模型封装成 scikit-learn 风格的接口，提供 fit() 和 predict() 方法，让用户能像使用传统机器学习模型一样使用 LLM，无需重新训练模型。
零样本分类和少样本分类有什么区别？
零样本分类不给任何示例，直接让模型根据内部知识分类；少样本分类则提供少量带标签的示例（通常 3-5 个）来引导模型，更适合领域特定任务，效果通常更好。
使用 Scikit-LLM 进行少样本分类需要多少标注数据？
通常只需要 3 到 5 个带标签的示例即可引导预训练 LLM 完成分类，无需大量标注数据，也无需重新训练模型。
Scikit-LLM 的 fit() 方法会训练模型吗？
不会。fit() 并不进行实际的权重更新或训练，它只是构建一个包含标注示例的少样本提示记忆，供模型在推理时参考。
如何用 Scikit-LLM 对 IT 支持工单进行分类？
首先准备少量带标签的工单示例（如硬件、软件、访问权限），然后使用 FewShotGPTClassifier 并调用 fit() 构建提示，最后用 predict() 对新工单进行分类。
Scikit-LLM 支持哪些 LLM 服务？
Scikit-LLM 支持 OpenAI 兼容的 LLM 端点，例如 Groq 的 API，用户可以通过配置设置自定义 URL 和 API 密钥来使用。
