宝玉的分享 ·

Meta 宣布推出 Llama 3 [译]

💡 原文中文，约5400字，阅读约需13分钟。

📝

内容提要

Llama 3模型开发和特点，使用7倍数据训练，具有更大词汇表和高效tokenizer。Llama 3在各领域表现良好，注重安全性。介绍了Llama Guard和Code Shield两个网络安全工具。Meta.ai网站提供免费试用。

🔎

延伸解读

Llama 3 的早期版本定位

文章指出，当前发布的 Llama 3 是早期版本，Meta 原本打算将其称为预发布或预览版，因为它们并未包含计划中的所有功能。这意味着用户现在体验到的模型可能在某些方面还不完善，但 Meta 通过提前发布来收集反馈并展示进展。对于开发者而言，可以提前进行测试和适配，但需留意后续正式版可能带来变化。

后训练阶段的关键作用

文章强调，尽管预训练使用了超过 15 万亿 token 和大量计算资源，但真正的关键在于后训练阶段。Meta 在后训练中投入了大量工作，包括有监督微调、拒绝采样、PPO 和 DPO 等，以平衡模型的可用性与安全性。这表明，模型最终的表现不仅取决于预训练规模，后训练的策略和数据质量同样至关重要。

安全工具的开源与定制

Llama Guard 和 Code Shield 是 Meta 推出的两个开源安全工具。Llama Guard 2 基于 Llama 3，可作为内容审查 API 自由定制；Code Shield 则用于过滤大语言模型生成的不安全代码。这些工具的开源意味着开发者和企业可以根据自身需求调整安全策略，而不必依赖封闭的解决方案，有助于推动安全标准的社区化。

未来模型与多模态方向

文章透露，Meta 正在训练一个超过 4000 亿参数的更大模型，并计划支持多种语言和多模态功能。考虑到 Meta 旗下应用覆盖近 40 亿用户，多语言和多模态对于实现更广泛的 AI 应用至关重要。虽然该模型尚未完成训练，但已展示出令人印象深刻的基准测试结果，预示着未来 Llama 系列将向更强大、更通用的方向发展。

❓

Q&A

Llama 3模型的训练数据量是多少？

Llama 3的预训练数据量超过15万亿token。

Llama 3有哪些安全性工具？

Llama 3包括Llama Guard和Code Shield两个网络安全工具。

Llama 3的词汇表和tokenizer有什么特点？

Llama 3具有更大的词汇表和高效的tokenizer，性能更强。

如何试用Llama 3模型？

可以通过Meta.ai网站免费试用Llama 3模型。

Llama Guard和Code Shield的功能是什么？

Llama Guard是内容审查API，Code Shield用于过滤不安全代码。

Llama 3在各个领域的表现如何？

Llama 3在各个领域表现良好，注重安全性。

🏷️