Ling 3.0 Tiny 现已上线 AI Gateway

Ling 3.0 Tiny 现已上线 AI Gateway

💡 原文英文,约300词,阅读约需1分钟。
📝

内容提要

蚂蚁集团Ling 3.0 Tiny模型已在AI Gateway上线,免费使用至8月14日。该模型为MOE架构,总参数7.9B,活跃参数1.3B,支持256K上下文和32K输出,具备函数调用和提示缓存功能。用户可通过AI SDK或模型游乐场使用,AI Gateway提供统一API、成本追踪及优化服务。

🔎

延伸解读

免费窗口与模型切换

Ling 3.0 Tiny 在 AI Gateway 上免费使用至 8 月 14 日,之后模型名称将从 inclusionai/ling-3.0-tiny-free 变为 inclusionai/ling-3.0-tiny。开发者需注意在截止日期前更新代码中的模型标识,以免服务中断。免费期结束后,使用将按提供商定价计费,但 AI Gateway 不收取额外平台费用。

技术特性与适用场景

该模型采用 MOE 架构,总参数 7.9B,但每个 token 仅激活约 1.3B 参数,兼顾性能与效率。支持 256K 上下文和 32K 输出,适合长文档处理和多轮对话。原生函数调用和提示缓存功能,可提升代理应用的响应速度和成本效益,尤其适合构建智能代理和复杂指令遵循场景。

使用方式与集成

开发者可通过 AI SDK 直接调用,或使用模型游乐场进行测试。对于编码代理,可运行 vercel ai-gateway coding-agents setup 并选择该模型。AI Gateway 提供统一 API,支持成本追踪、重试、故障转移和性能优化,并具备零数据保留和 API 密钥预算等功能,有助于企业级应用管理。

Q&A

Ling 3.0 Tiny 模型在 AI Gateway 上免费使用到什么时候?

Ling 3.0 Tiny 在 AI Gateway 上免费使用至太平洋时间 8 月 14 日上午 8:00。

Ling 3.0 Tiny 的模型参数量和架构是怎样的?

Ling 3.0 Tiny 是一个 MOE(混合专家)模型,总参数为 7.9B,每个 token 激活约 1.3B 参数。

Ling 3.0 Tiny 支持多长的上下文窗口和输出长度?

Ling 3.0 Tiny 支持 256K token 的上下文窗口,最大输出 32K token。

Ling 3.0 Tiny 有哪些主要功能?

Ling 3.0 Tiny 专为响应式智能体、指令遵循和多轮对话设计,支持原生函数调用和提示缓存。

如何在 AI SDK 中使用 Ling 3.0 Tiny?

在 AI SDK 中,将模型设置为 inclusionai/ling-3.0-tiny-free 即可使用。例如:streamText({ model: 'inclusionai/ling-3.0-tiny-free', prompt: '...' })。

AI Gateway 提供哪些服务?

AI Gateway 提供统一 API 调用模型、跟踪使用量和成本、配置重试、故障转移和性能优化,还包含自定义报告、零数据保留支持、API 密钥预算和路由规则等功能。

AI Gateway 的定价策略是什么?

AI Gateway 反映提供商定价,不加价,也不对推理收取平台费,包括自带密钥(BYOK)请求。

🏷️

标签

➡️

继续阅读