量子位
·
LIama 4发布重夺开源第一！DeepSeek同等代码能力但参数减一半，一张H100就能跑，还有两万亿参数超大杯
💡
原文中文，约5400字，阅读约需13分钟。
📝
内容提要
Meta发布Llama 4系列，包括Llama 4 Scout和Maverick，采用MoE架构，显著减少参数量，性能超越GPT-4.5。新模型支持百万上下文，具备多模态能力，运行成本低，标志着开源AI新时代。
🎯
关键要点
- Meta发布Llama 4系列，包括Llama 4 Scout和Maverick，采用MoE架构，显著减少参数量，性能超越GPT-4.5。
- Llama 4 Scout和Maverick分别为170亿激活参数的多模态模型，支持百万上下文窗口。
- Llama 4 Behemoth为2万亿参数的超大模型，尚在训练中，多个基准测试超过GPT-4.5。
- Llama 4系列标志着原生多模态AI创新的开始，具备长上下文窗口和多模态能力。
- Llama 4 Scout提供行业领先的100万上下文窗口，具有高级长度泛化能力。
- Llama 4系列支持12种语言，方便全球开发者的部署。
- Meta在模型API价格方面具有竞争力，Llama 4 Maverick的性价比优于DeepSeek。
- Llama 4系列采用混合专家MoE架构，提高计算效率，降低模型服务成本和延迟。
- 后训练阶段采用轻量级监督微调和在线强化学习策略，提升模型性能。
- Llama 4 Behemoth的训练效率提高了约10倍，具备更强的推理和编码能力。
➡️
