最强模型Llama 3.1 405B正式发布，扎克伯格：开源引领新时代
内容提要
Meta发布了Llama 3.1，这是世界上最大且最强大的开源语言模型。新版本支持八种语言，并将上下文长度扩展到128K。Llama 3.1与闭源模型相媲美，提供了各种组件来创建全面的系统。Meta还计划开发具有集成语音和视觉功能的模型。模型可以从Meta网站和Hugging Face下载。评估结果显示，Llama 3.1在各种任务中与领先的模型竞争力相当。Llama 3.1的架构经过优化，可进行大规模训练，使用了超过150万亿个标记。该模型还支持指令和基于聊天的微调。Meta发布了完整的参考系统和标准化接口，以促进与行业和开源社区的合作。开发人员可以根据自己的需求和应用定制模型。
延伸解读
开源协议调整的实际影响
Meta 修改了开源协议，允许开发者使用 Llama 模型（包括 405B）的输出来改进其他模型。这意味着开发者可以利用 Llama 3.1 生成合成数据，用于训练或蒸馏自己的模型，这在开源领域此前较少见。这一变化可能促进模型间的互操作和创新，但也需注意遵守协议的具体条款，避免滥用。
405B 模型的部署门槛
Llama 3.1 405B 作为超大规模模型，部署需要大量计算资源。Meta 通过将模型从 BF16 量化到 FP8，降低了计算需求，使其能在单个服务器节点运行。此外，Meta 与 AWS、NVIDIA、Databricks 等合作优化云端部署，并内置 vLLM、TensorRT 等工具，方便开发者上手。但普通开发者仍需评估自身资源。
模型评估的参考价值
Meta 在超过 150 个基准数据集上评估了 Llama 3.1，结果显示 405B 模型在多项任务中与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 竞争力相当。8B 和 70B 模型也与同规模闭源和开源模型竞争。这些评估为开发者选择模型提供了参考，但实际表现可能因应用场景而异，建议结合自身需求测试。
Llama 系统与生态建设
Meta 不仅发布模型，还提供了完整的参考系统，包括 Llama Guard 3 安全模型和 Prompt Guard 注入过滤器等组件。同时，Meta 在 GitHub 上发布了对 Llama Stack 标准化接口的评论请求，旨在促进工具链和智能体应用的互操作性。这有助于开发者构建更复杂的 AI 系统，并推动开源社区协作。
Q&A
Llama 3.1的主要特点是什么？
Llama 3.1是世界上最大且最强大的开源语言模型，支持八种语言，上下文长度扩展到128K，并与顶级闭源模型相媲美。
如何下载Llama 3.1模型？
用户可以从Meta网站和Hugging Face下载Llama 3.1模型。
Llama 3.1在评估中表现如何？
Llama 3.1在超过150个基准数据集上评估，结果显示其在多项任务中与领先模型竞争力相当。
Llama 3.1支持哪些高级用例？
Llama 3.1支持长篇文本摘要、多语言对话智能体和编码助手等高级用例。
Meta对开源协议做了哪些更改？
Meta更改了开源协议，允许开发人员使用Llama模型的输出改进其他模型。
Llama 3.1的训练规模有多大？
Llama 3.1的训练使用了超过15万亿个token，并在超过16,000个H100 GPU上进行训练。
