宣布在 Amazon Bedrock 中推出来自 Meta 的 Llama 3.1 405B、70B 和 8B 模型
内容提要
Meta在Amazon Bedrock上线Llama 3.1模型，支持128K上下文长度，容量是Llama 3模型的16倍。Llama 3.1在行业基准测试中表现出色，提供多语言对话用例推理效率。
延伸解读
模型规格与上下文能力
Llama 3.1 提供 8B、70B 和 405B 三种参数规模，均支持 128K 上下文长度，比 Llama 3 增加了 12 万个令牌，容量达到 Llama 3 的 16 倍。这意味着模型可以一次性处理更长的文档或对话历史，适合需要长上下文推理的生成式 AI 应用。
多语言与基准表现
Llama 3.1 在 150 多个基准数据集上进行了评估，涵盖多种语言和人工评估，在所有主要基准类别中表现均优于 Llama 3。其多语言对话推理效率在英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语八种语言上得到提升，适合面向多语言用户场景的构建。
可用性与访问方式
Llama 3.1 8B 和 70B 模型已在 Amazon Bedrock 正式推出，405B 模型目前在美国西部（俄勒冈州）地区以预览版提供。使用前需在 Bedrock 控制台单独申请模型访问权限；405B 预览版需联系 AWS 账户团队或提交支持票证。用户可通过控制台、AWS CLI 和 SDK 调用，模型 ID 如 meta.llama3-1-8b-instruct-v1 等。
部署选项与微调计划
除了 Amazon Bedrock，所有 Llama 3.1 模型也可在 Amazon SageMaker JumpStart 中使用，支持在 VPC 控件下操作，并计划即将支持微调。对于需要自我管理机器学习工作流的客户，可使用由 AWS Trainium 和 AWS Inferentia 支持的 Amazon EC2 实例进行高性能、经济高效的部署。此外，在 SageMaker JumpStart 中构建的微调模型可导入 Amazon Bedrock。
Q&A
Llama 3.1模型的参数大小有哪些？
Llama 3.1模型包含8B、70B和405B参数大小的模型。
Llama 3.1模型在多语言对话中的表现如何？
Llama 3.1模型提高了八种语言的多语言对话用例推理效率。
如何在Amazon Bedrock中申请访问Llama 3.1模型？
用户可以通过联系AWS账户团队或提交支持票证申请访问Llama 3.1模型。
Llama 3.1模型支持的上下文长度是多少？
Llama 3.1模型支持128K的上下文长度。
Llama 3.1模型在基准测试中的表现如何？
Llama 3.1模型在150多个基准数据集上表现优异，优于Llama 3模型。
用户如何在AWS中使用Llama 3.1模型进行开发？
用户可以通过AWS CLI和SDK访问Llama 3.1模型，并使用代码示例进行开发。
