Cloudflare Clef-omni：一个面向音频、视频、图像与文本的 30B-A3B 多模态决策模型
内容提要
Cloudflare 发布开放权重决策模型 Clef-omni，基于 Qwen3-Omni 的 30B-A3B MoE，采用 Apache-2.0 许可，每百万 tokens 收费 0.15 美元。该模型可在一次调用中对文本、图像、音频和视频打分，省去转录步骤，在意图分类任务上领先，但推理与工作流评测弱于 Clef。同时 Clef-flash 降价至 0.038 美元，托管 Clef 迁移 SGLang 后提速 1.7 至 2 倍。
延伸解读
多模态决策模型的定位与取舍
Clef-omni 的核心价值在于将文本、图像、音频和视频的决策统一到一次调用中，省去传统流水线中的转录和字幕生成步骤。但文章指出，它在困难推理任务上准确率弱于以文本为核心的 Clef，例如 GPQA Diamond 上仅 47.4，而 Jev 为 78.3。因此，它更适合意图分类等对多模态输入有直接需求的场景，而非替代纯文本模型处理复杂推理。
性能表现的两面性
在 Cloudflare 的 Decision Index 测试中，Clef-omni 在意图分类任务上领先，如 CLINC150+OOS 的 macro-F1 达 97.7，但在家电用例的精确匹配准确率仅 69.3，远低于 Clef-flash 的 97.73。在 TypeSafe 工作流评测的全部 5 项指标上，它也均低于 Clef。这表明其优势集中在特定任务，开发者需根据实际场景权衡。
成本与效率的平衡
Clef-omni 每百万 tokens 收费 0.15 美元，低于 Clef 的 0.24 美元，但高于降价后的 Clef-flash（0.038 美元）。同时，托管 Clef 迁移到 SGLang 后，中位延迟在约 800 tokens 时从 262 ms 降至 152 ms，提速 1.7 倍；在约 3,400 tokens 时从 616 ms 降至 305 ms，提速 2.0 倍。对于延迟敏感且无需多模态的应用，Clef-flash 或优化后的 Clef 可能更具性价比。
部署与输入限制
Clef-omni 在 Workers AI 上以 @cf/cloudflare/clef-omni 提供，上下文为 64,000 tokens，自托管需单张 H200 约 64 GB 显存。输入限制包括：图像最多 4 张，音频最多 4 段（每段 300 秒），视频最多 2 段（每段 60 秒），每次请求 1 至 64 个问题。这些约束可能影响高负载或多模态混合场景的适用性。
Q&A
Cloudflare Clef-omni 是什么？它和之前的 Clef 模型有什么关系？
Clef-omni 是 Cloudflare 发布的开放权重决策模型，属于 Clef 决策模型家族的新成员。它能在一次调用中对文本、图像、音频和视频进行打分，基于 Qwen3-Omni-30B-A3B-Instruct 后训练而来，采用 Apache-2.0 许可。它于 2026 年 10 月 9 日发布，距最初的 Clef 与 Clef-flash 发布仅 8 天。
Clef-omni 支持哪些输入模态？在 Workers AI 上的具体限制是什么？
Clef-omni 支持文本、图像、音频和视频四种模态。在 Workers AI 上，图像最多 4 张（PNG、JPEG 或 WebP，每张 64 至 1,024 tokens）；音频最多 4 段（WAV 或 MP3，每段 300 秒，约每分钟 780 tokens）；视频最多 2 段（MP4 或 WebM，每段 60 秒，按每秒 2 帧采样）；每次请求可包含 1 至 64 个问题。上下文为 64,000 tokens。
Clef-omni 在基准测试中的表现如何？有哪些优势和不足？
Clef-omni 在意图分类任务上领先：BANKING77 上 macro-F1 为 94.8，CLINC150+OOS 上为 97.7，Amazon ESCI 上为 57.8。但在其他方面落后：家电用例精确匹配准确率 69.3（Clef-flash 为 97.73），When2Call 准确率 63.3（Jev 为 80.97），GPQA Diamond 上为 47.4（Jev 为 78.3），POP909-CL 上仅 2.6。在 TypeSafe 工作流评测中，全部 5 项指标均低于 Clef。
Clef-omni 的定价和许可证是怎样的？与 Clef、Clef-flash、Jev 相比如何？
Clef-omni 采用 Apache-2.0 许可证，输入价格为每百万 tokens 0.15 美元。Clef 为 0.24 美元，Clef-flash 为 0.038 美元，Jev 为 0.042 美元。Clef-omni 是开放权重模型，而 Jev 仅提供 API 早期访问。
Clef-omni 是如何工作的？它的架构和训练方式有什么特点？
Clef-omni 基于 Qwen3-Omni-30B-A3B-Instruct 后训练，保留理解主干，去掉文本转语音输出通路。它对完整输入载荷执行单次 prefill 前向计算，视频帧与音频同步为一条序列联合处理。随后一个小型联合 schema head 对选项打分，每个有效选项从输入中汇集证据，各字段向量跨完整上下文做交叉注意力计算置信度分数。Cloudflare 冻结 Qwen3 主干，仅训练 LoRA 适配器，训练目标结合标签平滑交叉熵与 Brier 分数校准。
Clef 模型的速度提升具体是多少？是如何实现的？
Cloudflare 将托管的 Clef 迁移到 SGLang 并调优服务栈，没有发布新权重。在约 800 tokens 时，中位延迟从 262 ms 降至 152 ms，提速 1.7 倍；在约 3,400 tokens 时，从 616 ms 降至 305 ms，提速 2.0 倍；在约 16,000 tokens 时，从 2,721 ms 降至 1,635 ms。Clef 支持已进入 SGLang 0.5.22。
