量子位
·
LIama 4发布重夺开源第一！DeepSeek同等代码能力但参数减一半，一张H100就能跑，还有两万亿参数超大杯
内容提要
Meta发布Llama 4系列，包括Llama 4 Scout和Maverick，采用MoE架构，显著减少参数量，性能超越GPT-4.5。新模型支持百万上下文，具备多模态能力，运行成本低，标志着开源AI新时代。
关键要点
-
Meta发布Llama 4系列，包括Llama 4 Scout和Maverick，采用MoE架构，显著减少参数量，性能超越GPT-4.5。
-
Llama 4 Scout和Maverick分别为170亿激活参数的多模态模型，支持百万上下文窗口。
-
Llama 4 Behemoth为2万亿参数的超大模型，尚在训练中，多个基准测试超过GPT-4.5。
-
Llama 4系列标志着原生多模态AI创新的开始，具备长上下文窗口和多模态能力。
-
Llama 4 Scout提供行业领先的100万上下文窗口，具有高级长度泛化能力。
-
Llama 4系列支持12种语言，方便全球开发者的部署。
-
Meta在模型API价格方面具有竞争力，Llama 4 Maverick的性价比优于DeepSeek。
-
Llama 4系列采用混合专家MoE架构，提高计算效率，降低模型服务成本和延迟。
-
后训练阶段采用轻量级监督微调和在线强化学习策略，提升模型性能。
-
Llama 4 Behemoth的训练效率提高了约10倍，具备更强的推理和编码能力。
延伸问答
Llama 4系列模型有哪些主要特点？
Llama 4系列包括Llama 4 Scout、Maverick和Behemoth，采用MoE架构，显著减少参数量，支持百万上下文窗口，具备多模态能力，性能超越GPT-4.5。
Llama 4 Scout和Maverick的参数量是多少？
Llama 4 Scout和Maverick均为170亿激活参数，而Llama 4 Behemoth则为2万亿参数。
Llama 4系列如何提高计算效率？
Llama 4系列采用混合专家MoE架构，只有部分参数在训练和推理时被激活，从而提高计算效率，降低服务成本和延迟。
Llama 4系列支持哪些语言？
Llama 4系列支持12种语言，方便全球开发者的部署。
Llama 4的上下文窗口有多大？
Llama 4 Scout提供行业领先的100万上下文窗口，具有高级长度泛化能力。
Llama 4系列的训练效率如何？
Llama 4 Behemoth的训练效率提高了约10倍，具备更强的推理和编码能力。
