亚马逊AWS官方博客
·
使用亚马逊云科技自研芯片 Inferentia2 部署 DeepSeek R1 Distillation 模型（一）
内容提要
亚马逊云科技将于2025年1月推出DeepSeek系列大模型，用户可通过多种方式部署DeepSeek-R1模型。该模型可在自研芯片Inferentia2上高效运行，支持Docker容器和在线推理，服务覆盖多个地区，具备价格优势，满足全球客户需求。
关键要点
-
亚马逊云科技将于2025年1月推出DeepSeek系列大模型，用户可通过多种方式部署DeepSeek-R1模型。
-
DeepSeek-R1模型可在自研芯片Inferentia2上高效运行，支持Docker容器和在线推理。
-
服务覆盖多个地区，具备价格优势，满足全球客户需求。
-
用户可以通过Amazon Bedrock Marketplace、Amazon SageMaker JumpStart等方式部署DeepSeek-R1模型。
-
Inferentia2是亚马逊云科技自主研发的云端机器学习推理芯片，提供高性能和高效率的计算能力。
-
文章分为两篇，第一篇介绍如何使用Inferentia2部署DeepSeek R1 Distillation模型，第二篇介绍如何使用SageMaker Endpoint部署模型。
-
创建EC2实例时需申请增加配额，使用inf2.8xlarge作为实例类型。
-
制作Docker镜像需要进行ECR身份验证，并创建Dockerfile文件以包含所需工具。
-
下载模型权重并创建Docker容器以运行vLLM推理服务器。
-
启动vLLM Docker容器并进行客户端测试，使用curl命令进行API调用。
-
亚马逊云科技在多个地区提供Trn1/Inf2实例，具有40%以上的价格优势，满足全球客户需求。
延伸解读
Inferentia2的优势
Inferentia2是亚马逊云科技自研的机器学习推理芯片，专为深度学习任务优化，提供高性能和高效率。与传统GPU相比，Inferentia2在处理大规模模型时能显著降低成本，适合需要高并发推理的应用场景。
部署方式的灵活性
用户可以通过多种方式部署DeepSeek-R1模型，包括Amazon Bedrock Marketplace和SageMaker JumpStart等。这种灵活性使得不同技术背景的用户都能找到适合自己的部署方案，降低了技术门槛。
区域覆盖与价格优势
亚马逊云科技在多个地区提供Trn1/Inf2实例，满足全球客户需求。相比同类GPU实例，Trn1/Inf2实例具有40%以上的价格优势，适合预算有限的企业进行大规模机器学习推理。
延伸问答
DeepSeek-R1模型可以通过哪些方式部署？
DeepSeek-R1模型可以通过Amazon Bedrock Marketplace、Amazon SageMaker JumpStart和Amazon Bedrock Custom Model Import等方式部署。
Inferentia2芯片的主要功能是什么？
Inferentia2芯片是亚马逊云科技自主研发的云端机器学习推理芯片，提供高性能和高效率的计算能力，支持深度学习推理工作负载。
如何创建Docker镜像以部署DeepSeek-R1模型？
创建Docker镜像需要进行ECR身份验证，并创建Dockerfile文件以包含所需工具，最后使用docker build命令构建镜像。
使用DeepSeek-R1模型进行在线推理的步骤是什么？
启动vLLM Docker容器后，可以使用curl命令进行API调用进行在线推理，测试模型的输出。
DeepSeek-R1模型的价格优势如何？
DeepSeek-R1模型在多个地区提供服务，具有40%以上的价格优势，满足全球客户需求。
创建EC2实例时需要注意什么？
创建EC2实例时需申请增加配额，并使用inf2.8xlarge作为实例类型。
