Meta推出Llama 3人工智能模型 提供70B参数版本 性能大幅度提升
内容提要
人工智能研究院推出了经过15T个tokens训练的Llama 3模型，提供预训练和指令微调的语言模型，具有新功能和改进的推理能力，支持多语言和多模式。Meta创新了指令微调方法，提高了推理和编程性能，并引入了安全功能。Llama 3模型在云计算平台上提供，开发者可自行下载。Meta正在训练下一代Llama，希望推出多模态版本并扩大上下文支持。
延伸解读
指令微调方法的创新
Meta 在 Llama 3 的指令微调中组合了监督微调、拒绝采样、近端策略优化和直接策略优化。这种组合旨在提升模型在推理和编程任务上的表现。例如，当模型面对复杂推理问题时，可能生成正确的推理轨迹但不知如何选择答案，偏好排名训练可帮助模型学会选择正确答案。
安全功能的增强
Llama 3 在安全方面进行了多项更新，包括 Llama Guard 2 和 Cyber Sec Eval 2 的改进，并引入了 Code Shield。Code Shield 是一种推理时防护栏，用于过滤大型语言模型生成的不安全代码，从而提高模型整体安全性。这些措施有助于降低模型被滥用的风险。
开放模型中的性能表现
在部分基准测试中，Llama 3 的性能超过了 Mistral-7B、Mistral 8x22B 以及 Google Gemini Pro 1.0，被认为是目前开放 AI 模型中性能最好的之一。这表明 Llama 3 在开放模型领域具有竞争力，但具体测试条件和全面性未在文中详细说明。
下一代模型与未来方向
Meta 正在训练下一代 Llama 模型，其中最大模型参数超过 400B，目前仍在训练中。Meta 计划在未来几个月推出多模态版本，并继续扩大上下文支持。这显示了 Meta 在大型语言模型领域的持续投入和未来发展方向。
Q&A
Llama 3模型的参数版本有哪些？
Llama 3模型提供8B和70B参数版本。
Llama 3相较于Llama 2有哪些改进？
Llama 3改进了推理能力，降低了错误拒绝率，支持多语言和多模式，并具有更长的上下文。
Llama 3在基准测试中的表现如何？
Llama 3在基准测试中性能超过Mistral-7B、Mistral 8x22B和Google Gemini Pro 1.0，是开放AI模型中性能最好的。
Meta是如何提高Llama 3的推理和编程性能的？
Meta通过创新的指令微调方法，包括监督微调、拒绝采样、近端策略优化和直接策略优化，提高了推理和编程性能。
Llama 3的安全性如何得到保障？
Meta引入了Llama Guard 2、Cyber Sec Eval 2和Code Shield，以提高Llama 3的整体安全性。
开发者如何获取Llama 3模型？
Llama 3模型已在亚马逊AWS和Google Cloud等云计算平台上提供，开发者可以自行下载进行部署。
