百度开源文心5.5 Flash Base，多基准测试刷新同尺寸模型 SOTA
内容提要
11月5日，百度开源基座模型文心5.5 Flash Base，采用MoE架构，总参数2800亿，每Token激活140亿，预训练使用33.5万亿Token，支持最长100万Token上下文，多项基准达同尺寸SOTA。模型围绕效率优化：提出Latent-Gated Sparse Attention降低长上下文开销，Multi-Router Latent MoE改善专家路由，ECHO复用主干末层提升推理与代码能力，并优化分布式Muon优化器与FlashMask-4算子。
延伸解读
效率优先的架构取舍
文心5.5 Flash Base 以效率为设计主线，在注意力、路由和训练目标上做系统性优化。Latent-Gated Sparse Attention 结合混合稀疏注意力、低秩门控与虚拟头注意力，降低长上下文开销；Multi-Router Latent MoE 用多个路由器改善专家选择；ECHO 复用主干末层提升推理与代码能力。这些设计共同指向在保持能力的同时控制计算与显存成本。
长上下文能力的阶段差异
文章显示，模型预训练上下文长度为128K，而微调与推理阶段支持最长100万Token。这意味着超长上下文能力并非在预训练阶段直接获得，而是通过后续阶段扩展。开发者在评估长文档分析等场景时，需区分预训练与推理阶段的实际支持范围，并结合自身任务验证效果。
基座模型对开发者的意义
作为Base模型，文心5.5 Flash Base 面向开发者和企业提供进一步微调与定制的空间，而非直接面向终端用户。文章指出，开放基座模型可降低专业模型开发的训练成本与技术门槛。对希望基于业务数据构建专用模型的团队而言，其价值在于可定制性，但实际效果仍取决于微调数据与任务适配。
训练基建的配套创新
除模型架构外，文心对分布式Muon优化器进行优化，并推出面向大head dim的FlashMask-4注意力算子，以改善大规模训练中的通信、显存利用与计算效率。这提示读者，模型能力的提升不仅依赖算法设计，也依赖训练系统能否高效支撑。评估此类模型时，训练与推理效率应与基准成绩一并考虑。
Q&A
文心5.5 Flash Base 是什么时候开源的？模型的基本规格是什么？
文心5.5 Flash Base 于11月5日由百度正式开源。它采用MoE架构，总参数量2800亿，每个Token激活140亿参数，预训练使用33.5万亿Token，预训练上下文长度最高128K，微调与推理阶段支持最长100万Token上下文。
文心5.5 Flash Base 在哪些基准测试上取得了SOTA？超过了哪些模型？
在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型SOTA表现，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等模型。
文心5.5 Flash Base 在注意力机制上做了哪些优化来降低长上下文开销？
提出了Latent-Gated Sparse Attention，结合混合稀疏注意力、低秩门控注意力与虚拟头注意力。通过组合HCA与MLA让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务；低秩门控注意力利用低维表示计算信息门控，使门控投影权重参数减少75%；虚拟头注意力提升表达力与训练质量，推理时融合进注意力算子，开销极小。
Multi-Router Latent MoE 是如何改善专家路由的？
Multi-Router Latent MoE 由多个独立路由器共同参与专家选择，改善路由评分与专家实际效用之间的相关性。相比依赖单一路由器的传统方案，该设计旨在降低单一评分偏差对专家选择的影响，同时保持激活专家数量、专家计算量和通信量不变。
ECHO 训练目标有什么作用？它如何提升推理与代码能力？
ECHO 无需额外增加MTP模块，而是复用主干最后一层，让主干自身学习预测后续token，从而提前规划序列走向，有效提升推理与代码能力。文心5.5 Flash 仅采用单步ECHO预训练，复用的最后一层还可作为投机解码的草稿模型，展现出多步外推能力：同样只训练一步，多步起草质量大幅优于辅助MTP模块。
除了模型架构，文心5.5 Flash Base 在训练基建方面有哪些创新？
文心对分布式Muon优化器进行了优化，并推出面向大head dim的注意力算子FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。
