内容提要
蚂蚁百灵开源Ling-3.1-flash,主打真实工作流任务。模型总参数约560B、激活约25B,采用混合线性注意力与稀疏MoE,支持1M上下文,量化后降低部署门槛。实测可完成电商大促方案、医疗问诊单等任务,办公评测表现有竞争力,输出快、成本低。百灵借此强调“智效比”,推动模型落地金融、医疗等真实场景。
延伸解读
架构设计:如何平衡长任务与算力开销
Ling-3.1-flash采用混合线性注意力与稀疏MoE架构,总参数约560B,每Token激活约25B。其中7层KDA配1层Gated MLA,在保持全局注意力通路的同时降低计算复杂度;512个路由专家中每Token选择8个,并调用1个共享专家。这种设计旨在让模型在长时间执行任务时既不掉链子,也不至于把算力烧穿,适合需要持续处理大量上下文的工作流。
部署门槛:量化与推理优化
为降低部署门槛,团队通过混合精度量化将模型权重占用从约534GB降至292GB,在Hopper测试配置中所需GPU由8卡降至4卡。同时提供长上下文并行推理方案(PCP/DCP),并加强对JSON Schema的支持,便于模型处理长资料和对接现有业务接口。这些优化让中小团队也能以较低成本尝试部署,但具体效果可能因实际硬件环境而异。
实测表现:办公与医疗场景的可用性
在办公任务评测GDPVal-AA V2.1中,Ling-3.1-flash的ELO得分为1673,展现出处理多步骤工作任务的竞争力。医疗场景的HealthBench Professional评测中也保持相对领先。实测中,模型能完成电商大促方案、医疗问诊单等任务,并主动进行一致性检查,标注待核验数据。但需注意,模型在长文本输入时注意力可能跑偏,建议逐步交付任务,且当前版本尚不具备原生视觉理解,需前置视觉模型处理。
行业定位:从算效比到智效比
百灵强调“智效比”,将模型计算效率、参数效率、Token效率结合,推动模型在金融、医疗等真实场景落地。Ling-3.1-flash智能指数41,输出速度约每秒210 Token,混合调用价格约每百万Token 0.19美元,为高频业务场景提供了兼顾智能、效率与成本的选择。百灵负责人西亭认为Coding并非唯一考场,行业风向正转向真实工作流,但路线之争远未结束。
Q&A
Ling-3.1-flash 是什么?它主要想解决什么问题?
Ling-3.1-flash 是蚂蚁百灵开源推出的高智效比专业模型,主打真实工作流任务,旨在把真实工作流里的活干完,而不仅仅是答得漂亮。
Ling-3.1-flash 的架构和参数配置是怎样的?
模型总参数约560B,每个Token激活约25B。采用混合线性注意力与稀疏MoE:7层KDA配1层Gated MLA,设置512个路由专家,每个Token选择其中8个并调用1个共享专家。支持1M上下文窗口。
Ling-3.1-flash 在部署和成本方面有哪些优化?
通过混合精度量化,模型权重占用从约534GB降至292GB,部署所需GPU由8卡降至4卡。同时提供长上下文并行推理方案(PCP/DCP),并加强对JSON Schema的支持。据Artificial Analysis评测,输出速度约每秒210 Token,混合调用价格约为每百万Token 0.19美元。
Ling-3.1-flash 在办公和医疗等真实场景中表现如何?
在办公任务评测GDPVal-AA V2.1中ELO得分为1673,智能指数41。医疗场景HealthBench Professional评测中保持相对领先。实测可完成电商大促方案、医疗问诊单等任务,在长时Lua编译器开发任务中独立测试通过率97.8%。
Ling-3.1-flash 有哪些已知的局限或使用注意事项?
存在一些小Bug:塞入大段长文本时注意力有时会跑偏,建议逐步交付任务;一句话生成存在适应边界,效果不佳时需重新明确思路;当前版本尚不具备原生视觉理解,需前置视觉模型处理,增加成本。
百灵提出“智效比”是什么概念?行业对此有何反应?
百灵将模型计算效率、参数效率、Token效率绑在一起谈,强调“智效比”。该说法得到行业响应,Anthropic、OpenAI近半年也陆续推出面向金融、医疗的专业能力,如Claude for Financial Advisors。