Meta 宣布推出 Llama 3 [译]

Llama 3模型使用7倍数据训练，具有更大词汇表和高效tokenizer。

Llama 3在各领域表现良好，注重安全性。

介绍了Llama Guard和Code Shield两个网络安全工具。

Meta.ai网站提供Llama 3的免费试用。

Llama 3的预训练数据量超过15万亿token，微调数据量增加到100万条。

模型架构采用密集自回归Transformer，加入了群组查询注意力机制。

后训练阶段投入大量工作，进行有监督微调和安全性评估。

Llama Guard是一个开放源代码的内容审查API，Llama Guard 2基于Llama 3。

Code Shield用于过滤大语言模型生成的不安全代码，功能开源。

即将推出更大更好的模型，支持多种语言和多模态功能。

Meta承诺持续关注安全问题，并开源所有安全措施。