内容提要
Featherless推出开源库Simple Jev,可将开源AI模型转为高速零样本分类引擎,支持图像分类,避免生成对话文本以降低延迟和算力。CEO称用前沿大模型做分类如“用坦克送披萨”,成本高效率低。该工具已在GitHub开源,并提供免费测试端点,生产定价每百万输入token 0.03美元,输出免费。
延伸解读
分类任务不必用大模型
文章指出,用前沿大模型做分类如同“用坦克送披萨”,成本高效率低。Simple Jev 通过零样本分类引擎,直接输出类别概率,不生成对话文本,从而降低延迟和算力。这提醒开发者,对于分类等结构化决策任务,轻量专用模型可能比通用大模型更合适。
成本优势与定价细节
Simple Jev 生产定价为每百万输入 token 0.03 美元,输出免费。CEO 举例,一次分类约消耗 500 到 1200 token,成本仅约千分之三美分,相当于每百万次决策 15 到 35 美元。但需注意,这是 beta 底价,可能上涨,且 Featherless 自家 Qwen 分类器标价为每百万输入 token 0.28 和 0.30 美元。
零样本分类并非全新概念
文章承认,分类器并非新事物,零样本引擎依赖迁移学习,无需任务特定训练数据。OpenAI 的 CLIP 早在 2021 年就用于零样本图像分类,微软 Florence-2 等也涉足该领域。Simple Jev 的创新在于提供了设计良好的零样本 API,并开源,让开发者更容易复现和高效使用。
开源与未来方向
Simple Jev 已在 GitHub 完全开源,并提供免费测试端点(限制 2000 token 上下文和每秒 2 次请求)。Featherless 还提供模型蒸馏工作流,将大模型能力压缩到小模型。CEO 预测未来将由数百万轻量专用模型驱动,而非单一通用大模型。这为开发者提供了低成本、高效率的替代方案。
Q&A
Featherless 的 Simple Jev 是什么?它有什么主要功能?
Simple Jev 是 Featherless 推出的开源库,能将开源 AI 模型转换为高速零样本分类引擎。它支持图像分类,通过避免生成对话文本来降低延迟和算力消耗。
为什么 Featherless CEO 说用前沿大模型做分类就像用坦克送披萨?
因为使用前沿大模型进行分类成本高、效率低,就像用坦克送披萨一样,虽然最终能送达,但速度慢、价格贵,而且用错了工具。
Simple Jev 如何实现零样本分类?它的工作原理是什么?
Simple Jev 不会生成对话文本,而是停止在模型选择的位置,读取每个允许选项的分数,并输出概率。它基于预训练语言模型,通过迁移学习对未见过的类别进行分类。
Simple Jev 的定价如何?与 TypeSafe 的 Jev 相比有什么优势?
Simple Jev 生产定价为每百万输入 token 0.03 美元,输出免费;而 TypeSafe 的 Jev 为每百万输入 token 0.042 美元。Simple Jev 更便宜,且提供免费公共端点供测试。
Simple Jev 支持哪些模型?是否支持图像分类?
Simple Jev 目前支持 Gemma 或 Qwen 模型,并且其托管端点包含视觉支持,允许开发团队使用图像作为上下文进行即时分类。
Featherless 对 AI 模型未来的发展有什么看法?
Featherless 认为未来将由数百万个轻量级、专用模型驱动,而不是单一的大型通用模型。他们鼓励从“ monolithic 通用模型”转向更高效的小型专用模型。