InfoQ
·
Llama 4 Scout和Maverick现已在Amazon Bedrock和SageMaker JumpStart上推出
内容提要
AWS最近在Amazon Bedrock和AWS SageMaker JumpStart中推出了Meta的最新基础模型Llama 4 Scout和Llama 4 Maverick。这两个多模态模型分别拥有170亿和2880亿参数，Llama 4 Scout适合通用任务，而Llama 4 Maverick在推理和编码方面表现更佳，均能提高计算效率并降低成本。
关键要点
-
AWS最近在Amazon Bedrock和AWS SageMaker JumpStart中推出了Meta的最新基础模型Llama 4 Scout和Llama 4 Maverick。
-
Llama 4 Scout和Maverick分别拥有170亿和2880亿参数，支持多模态能力，采用专家混合架构。
-
Llama 4 Scout适合通用任务，优化在单个NVIDIA H100 GPU上运行。
-
Llama 4 Maverick在推理和编码方面表现更佳，超越同类模型。
-
专家混合架构提高了计算效率，降低了成本，使先进的AI更易于获取。
-
Llama 4 Scout支持最多1000万的上下文窗口，而Llama 4 Maverick支持最多100万的上下文窗口。
-
Amazon SageMaker JumpStart允许使用新模型，默认使用ml.p5.48xlarge实例，支持NVIDIA H100 Tensor Core GPUs。
-
Llama 4模型还可在其他云服务提供商上使用，如Databricks、GroqCloud等。
-
Behemoth是Llama 4系列中的第三个模型，拥有2880亿参数，当前处于预览阶段。
延伸解读
多模态能力的优势
Llama 4 Scout和Maverick的多模态能力使其在处理不同类型的数据时表现出色。这种能力不仅提升了模型的灵活性，还能在实际应用中更好地满足用户需求，尤其是在需要同时处理文本和图像的场景中。
专家混合架构的影响
Llama 4系列采用的专家混合架构显著提高了计算效率，降低了运行成本。这意味着企业在使用这些模型时，可以以更低的投入获得更高的性能，尤其适合预算有限但又希望利用先进AI技术的用户。
上下文窗口的扩展
Llama 4 Scout支持高达1000万的上下文窗口，远超Llama 3的128K。这一改进使得模型在处理长文本时更加得心应手，用户在选择模型时应考虑其具体的上下文需求，以便充分发挥模型的优势。
延伸问答
Llama 4 Scout和Maverick的主要特点是什么？
Llama 4 Scout适合通用任务，拥有170亿参数，而Llama 4 Maverick在推理和编码方面表现更佳，拥有2880亿参数。
这两个模型的上下文窗口支持是多少？
Llama 4 Scout支持最多1000万的上下文窗口，而Llama 4 Maverick支持最多100万的上下文窗口。
Llama 4模型的计算效率如何？
Llama 4模型采用专家混合架构，提高了计算效率并降低了成本，使先进的AI更易于获取。
如何在Amazon SageMaker JumpStart中使用Llama 4模型？
可以通过SageMaker Studio或Amazon SageMaker Python SDK使用Llama 4模型，默认使用ml.p5.48xlarge实例。
Llama 4模型是否可以在其他云服务上使用？
是的，Llama 4模型还可在Databricks、GroqCloud等其他云服务提供商上使用。
Behemoth模型的特点是什么？
Behemoth是Llama 4系列中的第三个模型，拥有2880亿参数，当前处于预览阶段，主要用于模型蒸馏训练。
