Meta发布新款Llama 3.1模型，包括备受期待的405B参数版本
内容提要
Meta发布了Llama 3.1系列的多语言大型语言模型（LLM）。Llama 3.1-405B模型是最大的开源语言模型，拥有405B个参数，可在IBM Watsonx上部署。该版本包括更长的上下文长度、扩展的工具使用和多语言能力。与领先模型相比，Llama 3.1模型取得了令人印象深刻的性能基准。发布还包括安全措施和防护措施。Llama 3.1模型可用于合成数据生成、知识蒸馏、其他模型的评估和微调。模型具有更长的上下文窗口、改进的安全措施，并且支持多语言。IBM Watsonx提供了定制和实施Llama 3.1模型的平台。
延伸解读
开源大模型的里程碑意义
Llama 3.1-405B作为目前最大的开源语言模型，其发布标志着开源模型首次在性能上媲美顶尖闭源模型。这不仅为研究人员和企业提供了可自由修改、本地部署的稳定平台，还推动了AI创新的开放与透明。与依赖API的闭源模型相比，用户能获得更高的控制权和可复现性，有利于长期研究和应用开发。
性能比肩闭源巨头
在MMLU、GPQA、MATH等基准测试中，Llama 3.1-405B与GPT-4、Claude 3 Opus和Gemini 1.5 Pro等领先闭源模型不相上下，甚至在部分任务中超越。例如，其MMLU得分87.3%，高于GPT-4-Turbo的86.5%。这表明开源模型已具备与顶级商业模型竞争的实力，为用户提供了新的高性能选择。
长上下文与多语言升级
Llama 3.1所有模型将上下文长度从8,192 tokens大幅扩展至128,000 tokens，提升约1600%，能处理更长的对话和文档。同时，模型新增对西班牙语、葡萄牙语、意大利语、德语和泰语的支持，并优化了工具使用能力，支持零-shot工具调用，增强了实用性和适应性。
安全措施与负责任创新
Meta为Llama 3.1引入了新的推理时防护措施，包括Llama Guard、CyberSec Eval、Prompt Guard和CodeShield，以应对长上下文带来的安全风险，如提示注入和不安全代码生成。这些措施旨在促进生成式AI信任与安全工具的标准化，体现了对负责任AI创新的承诺。
Q&A
Llama 3.1-405B模型的参数数量是多少？
Llama 3.1-405B模型拥有4050亿个参数。
Llama 3.1模型的上下文长度有多长？
Llama 3.1模型的上下文长度扩展到128000个标记。
Llama 3.1模型支持哪些语言？
Llama 3.1模型支持多种语言，包括西班牙语、葡萄牙语、意大利语、德语和泰语。
Llama 3.1-405B模型在性能基准测试中表现如何？
Llama 3.1-405B模型在多个基准测试中表现优异，超越了许多领先模型。
如何使用Llama 3.1模型进行知识蒸馏？
可以将Llama 3.1-405B模型的知识蒸馏到更小的模型中，以结合大模型的能力和小模型的高效推理。
Meta与IBM的AI联盟有什么目标？
AI联盟旨在推动开放、负责任的AI创新，促进开发者和研究人员的合作。
