Llama 4 Scout和Maverick现已在Amazon Bedrock和SageMaker JumpStart上推出

Llama 4 Scout和Maverick现已在Amazon Bedrock和SageMaker JumpStart上推出

💡 原文英文,约400词,阅读约需2分钟。
📝

内容提要

AWS最近在Amazon Bedrock和AWS SageMaker JumpStart中推出了Meta的最新基础模型Llama 4 Scout和Llama 4 Maverick。这两个多模态模型分别拥有170亿和2880亿参数,Llama 4 Scout适合通用任务,而Llama 4 Maverick在推理和编码方面表现更佳,均能提高计算效率并降低成本。

🎯

关键要点

  • AWS最近在Amazon Bedrock和AWS SageMaker JumpStart中推出了Meta的最新基础模型Llama 4 Scout和Llama 4 Maverick。
  • Llama 4 Scout和Maverick分别拥有170亿和2880亿参数,支持多模态能力,采用专家混合架构。
  • Llama 4 Scout适合通用任务,优化在单个NVIDIA H100 GPU上运行。
  • Llama 4 Maverick在推理和编码方面表现更佳,超越同类模型。
  • 专家混合架构提高了计算效率,降低了成本,使先进的AI更易于获取。
  • Llama 4 Scout支持最多1000万的上下文窗口,而Llama 4 Maverick支持最多100万的上下文窗口。
  • Amazon SageMaker JumpStart允许使用新模型,默认使用ml.p5.48xlarge实例,支持NVIDIA H100 Tensor Core GPUs。
  • Llama 4模型还可在其他云服务提供商上使用,如Databricks、GroqCloud等。
  • Behemoth是Llama 4系列中的第三个模型,拥有2880亿参数,当前处于预览阶段。

延伸问答

Llama 4 Scout和Maverick的主要特点是什么?

Llama 4 Scout适合通用任务,拥有170亿参数,而Llama 4 Maverick在推理和编码方面表现更佳,拥有2880亿参数。

这两个模型的上下文窗口支持是多少?

Llama 4 Scout支持最多1000万的上下文窗口,而Llama 4 Maverick支持最多100万的上下文窗口。

Llama 4模型的计算效率如何?

Llama 4模型采用专家混合架构,提高了计算效率并降低了成本,使先进的AI更易于获取。

如何在Amazon SageMaker JumpStart中使用Llama 4模型?

可以通过SageMaker Studio或Amazon SageMaker Python SDK使用Llama 4模型,默认使用ml.p5.48xlarge实例。

Llama 4模型是否可以在其他云服务上使用?

是的,Llama 4模型还可在Databricks、GroqCloud等其他云服务提供商上使用。

Behemoth模型的特点是什么?

Behemoth是Llama 4系列中的第三个模型,拥有2880亿参数,当前处于预览阶段,主要用于模型蒸馏训练。

➡️

继续阅读