这个双十一,百灵新模型干起活来不烧心

这个双十一,百灵新模型干起活来不烧心

💡 原文中文,约4500字,阅读约需11分钟。
📝

内容提要

蚂蚁百灵开源Ling-3.1-flash,主打真实工作流任务。模型总参数约560B、激活约25B,采用混合线性注意力与稀疏MoE,支持1M上下文,量化后降低部署门槛。实测可完成电商大促方案、医疗问诊单等任务,办公评测表现有竞争力,输出快、成本低。百灵借此强调“智效比”,推动模型落地金融、医疗等真实场景。

🔎

延伸解读

架构设计:如何平衡长任务与算力开销

Ling-3.1-flash采用混合线性注意力与稀疏MoE架构,总参数约560B,每Token激活约25B。其中7层KDA配1层Gated MLA,在保持全局注意力通路的同时降低计算复杂度;512个路由专家中每Token选择8个,并调用1个共享专家。这种设计旨在让模型在长时间执行任务时既不掉链子,也不至于把算力烧穿,适合需要持续处理大量上下文的工作流。

部署门槛:量化与推理优化

为降低部署门槛,团队通过混合精度量化将模型权重占用从约534GB降至292GB,在Hopper测试配置中所需GPU由8卡降至4卡。同时提供长上下文并行推理方案(PCP/DCP),并加强对JSON Schema的支持,便于模型处理长资料和对接现有业务接口。这些优化让中小团队也能以较低成本尝试部署,但具体效果可能因实际硬件环境而异。

实测表现:办公与医疗场景的可用性

在办公任务评测GDPVal-AA V2.1中,Ling-3.1-flash的ELO得分为1673,展现出处理多步骤工作任务的竞争力。医疗场景的HealthBench Professional评测中也保持相对领先。实测中,模型能完成电商大促方案、医疗问诊单等任务,并主动进行一致性检查,标注待核验数据。但需注意,模型在长文本输入时注意力可能跑偏,建议逐步交付任务,且当前版本尚不具备原生视觉理解,需前置视觉模型处理。

行业定位:从算效比到智效比

百灵强调“智效比”,将模型计算效率、参数效率、Token效率结合,推动模型在金融、医疗等真实场景落地。Ling-3.1-flash智能指数41,输出速度约每秒210 Token,混合调用价格约每百万Token 0.19美元,为高频业务场景提供了兼顾智能、效率与成本的选择。百灵负责人西亭认为Coding并非唯一考场,行业风向正转向真实工作流,但路线之争远未结束。

❓

Q&A

Ling-3.1-flash 是什么?它主要想解决什么问题?

Ling-3.1-flash 是蚂蚁百灵开源推出的高智效比专业模型,主打真实工作流任务,旨在把真实工作流里的活干完,而不仅仅是答得漂亮。

Ling-3.1-flash 的架构和参数配置是怎样的?

模型总参数约560B,每个Token激活约25B。采用混合线性注意力与稀疏MoE:7层KDA配1层Gated MLA,设置512个路由专家,每个Token选择其中8个并调用1个共享专家。支持1M上下文窗口。

Ling-3.1-flash 在部署和成本方面有哪些优化?

通过混合精度量化,模型权重占用从约534GB降至292GB,部署所需GPU由8卡降至4卡。同时提供长上下文并行推理方案(PCP/DCP),并加强对JSON Schema的支持。据Artificial Analysis评测,输出速度约每秒210 Token,混合调用价格约为每百万Token 0.19美元。

Ling-3.1-flash 在办公和医疗等真实场景中表现如何?

在办公任务评测GDPVal-AA V2.1中ELO得分为1673,智能指数41。医疗场景HealthBench Professional评测中保持相对领先。实测可完成电商大促方案、医疗问诊单等任务,在长时Lua编译器开发任务中独立测试通过率97.8%。

Ling-3.1-flash 有哪些已知的局限或使用注意事项?

存在一些小Bug:塞入大段长文本时注意力有时会跑偏,建议逐步交付任务;一句话生成存在适应边界,效果不佳时需重新明确思路;当前版本尚不具备原生视觉理解,需前置视觉模型处理,增加成本。

百灵提出“智效比”是什么概念?行业对此有何反应?

百灵将模型计算效率、参数效率、Token效率绑在一起谈,强调“智效比”。该说法得到行业响应,Anthropic、OpenAI近半年也陆续推出面向金融、医疗的专业能力,如Claude for Financial Advisors。

🏷️

标签

➡️

继续阅读