妙语连珠，文采飞扬——使用 AWS 自研芯片，快速构建 LLama 3 等大语言模型应用
内容提要
随着AIGC/GenAI的兴起，LLM/SD等模型在文本/图像/视频生成和多模态/复杂推理等场景中得到广泛应用。AWS推出的Inf2实例提供高效部署大型语言模型的解决方案。文章介绍了Meta-Llama-3-8B、Mistral-7B-Instruct-v0.2和CodeLlama-7b-Instruct-hf等语言模型，并提供了部署方案和API接口。AWS Neuron SDK和Optimum Neuron是部署和推理大型语言模型的工具，Text Generation Inference和HuggingFace Chat UI用于部署和服务大型语言模型。文章还介绍了API接口和性能测试。
延伸解读
Inf2 实例的性价比与适用边界
文章指出，与同类 Nvidia GPU 的 EC2 实例相比，Inf2 实例吞吐量可提高多达 2.3 倍，每次推理成本可降低多达 70%，性能功耗比提升高达 50%。但需注意，这些数据基于特定测试场景，实际收益可能因模型和负载而异。此外，Inf2 并非支持所有模型，用户需参考官方列表确认兼容性。
模型部署的显存估算与硬件选择
文章提供了一个实用的显存估算方法：模型参数数量乘以 2（针对 BF16/FP16 数据类型）。例如 7B 模型约需 14GB 显存。AWS Inferentia 2 单芯片显存为 32GB，理论上可胜任 16B 以下的模型。但实际部署时还需考虑 KV 缓存随序列长度和批量大小的线性增长，因此需根据具体推理场景调整批量大小和序列长度。
性能测试结果与成本换算
文章以 Llama 3 为例，在 Inf2.2xlarge 上使用 Locust 测试，10 并发用户下平均延迟 32 秒，RPM 为 18，TPM 为 10872。按美东一区每小时 0.7582 美元计算，生成 100 万个 token 的成本约为 1.16 美元。这一数据可作为成本估算的参考，但实际成本会因模型、输入输出长度、并发量等因素变化。
方案架构的灵活性与定制空间
方案采用 Client-Server 架构，前端使用 HuggingFace Chat UI，后端使用 Text Generation Inference，所有组件可部署在一台 Inf2 实例上。文章强调，用户可根据需要替换或裁剪前后端，例如将模型部署在 SageMaker，前端部署在 Node 服务器。这种模块化设计便于集成到现有系统，但需注意组件间的兼容性和网络配置。
Q&A
AWS Inf2实例的主要优势是什么？
AWS Inf2实例能够提高吞吐量多达2.3倍，降低推理成本多达70%，并提升性能功耗比高达50%。
Meta-Llama-3-8B模型的主要能力是什么？
Meta-Llama-3-8B模型具备语言理解、翻译、代码生成、推理和聊天等能力。
如何在AWS上部署大型语言模型？
可以通过AWS CloudFormation一键部署，使用Inf2实例和相关工具如Text Generation Inference和HuggingFace Chat UI。
AWS Neuron SDK的功能是什么？
AWS Neuron SDK帮助开发人员在AWS Inferentia实例上部署各种参数规模的模型，并支持模型分片、流水线并行等功能。
HuggingFace Chat UI有哪些主要功能？
HuggingFace Chat UI是一个开源聊天工具，支持页面定制、对话记录存储和多种模型的切换。
在AWS上使用Text Generation Inference的API接口有什么优势？
Text Generation Inference的API接口支持高性能文本生成服务，并提供/generate和/generate_stream两种接口，增强用户体验。
