全面开放：NVIDIA加速Meta Llama 3的推理
内容提要
Meta和NVIDIA合作开发了Meta Llama 3，这是一个优化在NVIDIA GPU上运行的开放式大型语言模型（LLM）。该模型在一个由24,576个NVIDIA H100 Tensor Core GPU组成的计算机集群上进行了训练，并可在云端、数据中心、边缘和个人电脑上使用。企业可以使用NVIDIA NeMo对Llama 3进行数据微调，并使用NVIDIA Triton Inference Server部署自定义模型。Llama 3还可在NVIDIA Jetson Orin上运行，用于机器人和边缘计算设备。NVIDIA致力于优化社区软件并推动AI透明度。
延伸解读
训练规模与未来扩展
Llama 3 在由 24,576 个 NVIDIA H100 Tensor Core GPU 组成的集群上训练，并借助 NVIDIA Quantum-2 InfiniBand 网络进行连接。Meta 还计划将基础设施扩展至 350,000 个 H100 GPU，以进一步推动生成式 AI 的发展。这一规模表明，大模型训练对高性能计算资源的需求极高，而 NVIDIA 的硬件与网络技术在其中扮演了关键角色。
部署灵活性与工具链
Llama 3 可在云端、数据中心、边缘和 PC 上运行。开发者可通过 ai.nvidia.com 在浏览器中试用，企业则能利用 NVIDIA NeMo 进行数据微调，并通过 TensorRT-LLM 优化推理，再使用 Triton Inference Server 部署自定义模型。此外，Llama 3 还支持 NVIDIA Jetson Orin 等边缘设备，为机器人和边缘计算提供交互式代理能力。
性能基准与成本优化
部署 LLM 聊天机器人需平衡低延迟、阅读速度和 GPU 使用率。用户阅读速度约为 10 tokens/秒，而服务需提供约两倍于此的吞吐量。初步测试中，单个 NVIDIA H200 Tensor Core GPU 运行 700 亿参数的 Llama 3 时，生成约 3,000 tokens/秒，可支持约 300 个并发用户；八路 HGX H200 服务器则可达 24,000 tokens/秒，支持超过 2,400 个用户，从而优化成本。
边缘设备性能表现
对于边缘计算场景，80 亿参数的 Llama 3 在 Jetson AGX Orin 上可生成高达 40 tokens/秒，在 Jetson Orin Nano 上则为 15 tokens/秒。这些数据表明，Llama 3 能够有效运行在资源受限的边缘设备上，为机器人、物联网等应用提供本地化 AI 推理能力，减少对云端连接的依赖。
Q&A
Meta Llama 3是如何优化在NVIDIA GPU上运行的？
Meta Llama 3在由24,576个NVIDIA H100 Tensor Core GPU组成的计算机集群上进行了训练，并进行了网络、软件和模型架构的调优。
企业如何使用NVIDIA NeMo对Llama 3进行微调？
企业可以使用NVIDIA NeMo对Llama 3进行数据微调，并利用NVIDIA Triton Inference Server部署自定义模型。
Llama 3可以在哪些设备上运行？
Llama 3可以在云端、数据中心、边缘设备和个人电脑上运行，还可以在NVIDIA Jetson Orin上用于机器人和边缘计算。
NVIDIA H200 Tensor Core GPU的性能如何？
单个NVIDIA H200 Tensor Core GPU在初步测试中生成约3,000个tokens/秒，支持约300个用户同时使用。
部署Llama 3时需要考虑哪些最佳实践？
最佳实践包括平衡低延迟、良好的阅读速度和优化的GPU使用，以降低成本。
NVIDIA在推动AI透明度方面做了哪些努力？
NVIDIA致力于优化社区软件，促进AI透明度，并让用户广泛分享AI安全和韧性方面的工作。
