首个超越GPT4o级开源模型！Llama 3.1泄密：4050亿参数，下载链接、模型卡都有了
内容提要
Llama 3.1是一种大型语言模型，在Reddit上泄露。它包括8B、70B和405B的基准测试结果。与之前的版本相比，8B和70B模型显示出显著的性能改进。该模型支持多种语言，用于商业应用和研究。它经过15T+标记的训练，包括公共数据和合成数据。Llama 3.1针对对话使用案例进行了优化，并且在许多开源和闭源聊天模型中表现出色。建议在官方发布之前等待下载模型。
延伸解读
泄露事件与官方发布
Llama 3.1 的模型卡和基准测试结果在 Reddit 上泄露，而非 Meta 官方发布。泄露内容包含 8B、70B 和 405B 版本的详细信息，以及下载链接（但 GitHub 链接已 404）。模型卡标注的日期暗示官方可能于 7 月 23 日发布。建议用户等待官方渠道，以确保安全性和完整性。
性能提升与蒸馏技术
Llama 3.1 的 8B 和 70B 模型性能显著提升，甚至 70B 版本在多项基准上超越了 GPT-4o。文章指出，这些较小模型可能是由 405B 模型蒸馏而来，从而继承了强大能力。这是开源模型首次在多个基准上超越 GPT-4o 和 Claude Sonnet 3.5 等闭源模型，达到 SOTA 水平。
训练数据与多语言支持
Llama 3.1 使用超过 15 万亿个 token 进行预训练，数据截止到 2023 年 12 月。微调数据包括公开指令数据集和超过 2500 万个合成样本。模型支持八种语言：英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语，并针对多语言对话进行了优化。
安全考量与部署建议
Llama 3.1 并非设计为单独部署，而应作为 AI 系统的一部分，并添加额外的安全护栏。开发人员需针对具体应用进行安全测试和微调，以应对潜在的不准确、偏见或冒犯性输出。新功能如更长上下文、多语言和工具集成也带来了新的安全挑战，需特别注意。
Q&A
Llama 3.1的参数规模是多少？
Llama 3.1包括8B、70B和最大参数的405B。
Llama 3.1与GPT-4o相比有什么优势？
Llama 3.1的8B和70B模型在多个基准测试中超过了GPT-4o，显示出显著的性能提升。
Llama 3.1支持哪些语言？
Llama 3.1支持英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语。
Llama 3.1的训练数据量是多少？
Llama 3.1使用了超过15万亿个标记进行训练。
Llama 3.1的设计宗旨是什么？
Llama 3.1的设计宗旨是开放、包容和乐于助人，旨在服务于每个人。
使用Llama 3.1时需要注意什么安全问题？
开发人员在使用Llama 3.1时需进行安全测试和微调，以应对潜在的输出风险。
