亚马逊AWS官方博客
·
使用亚马逊云科技自研芯片 Inferentia2 部署 DeepSeek R1 Distillation 模型（二）
内容提要
亚马逊云科技将在2025年1月推出DeepSeek系列大模型，用户可通过多种方式部署DeepSeek-R1模型。文章介绍了如何在SageMaker上快速部署DeepSeek-R1-Distill模型，包括创建Docker容器和在线推理的步骤。
关键要点
-
亚马逊云科技将在2025年1月推出DeepSeek系列大模型，用户可通过多种方式部署DeepSeek-R1模型。
-
用户可以通过Amazon Bedrock Marketplace、Amazon SageMaker JumpStart、Amazon Bedrock Custom Model Import等方式部署DeepSeek-R1模型。
-
Inferentia2是亚马逊云科技自主研发的云端机器学习推理芯片，提供高性能和高效率的计算能力。
-
文章分为两篇介绍DeepSeek-R1-Distill模型的部署方法。
-
使用SageMaker AI托管服务部署模型的好处包括完全托管基础设施、自动缩放、自动修补等。
-
提供多种推理选项，如实时端点和批量转换。
-
使用Hugging Face提供的推理容器进行部署时，模型代码可在model card内找到。
-
自定义vLLM推理容器部署允许用户创建特定环境以满足需求。
-
创建Docker镜像时需确保容器在8080端口列出网络服务器，并接受特定POST请求。
-
在SageMaker Notebook中执行相关命令以创建Docker容器并推送到Amazon ECR。
-
上传模型权重到S3存储桶，并通过指向S3中的模型工件创建SageMaker模型。
-
通过SageMaker创建端点配置并部署模型，用户可在控制台查看进度。
-
提供Python代码示例以调用SageMaker Endpoint进行推理。
-
完成测试后，需清除SageMaker相关资源以释放资源。
-
亚马逊云科技提供多种工具和优化方法以提高模型编译和运行效率。
延伸解读
DeepSeek-R1模型的多样化部署方式
亚马逊云科技提供多种方式来部署DeepSeek-R1模型，包括通过Amazon Bedrock Marketplace、SageMaker JumpStart和自定义模型导入等。这种灵活性使得用户可以根据自身需求选择最合适的部署方式，提升了模型应用的便捷性和效率。
Inferentia2芯片的优势
Inferentia2是亚马逊自研的机器学习推理芯片，专为深度学习工作负载设计，提供高性能和高效率的计算能力。使用Inferentia2可以显著提升模型推理的速度和降低成本，适合需要高效推理的应用场景。
SageMaker的自动化管理功能
SageMaker AI托管服务提供完全托管的基础设施，支持自动缩放和安全更新，减轻了用户的运维负担。用户可以专注于模型的开发和优化，而不必担心底层基础设施的管理，这对于快速迭代和部署至关重要。
延伸问答
DeepSeek-R1模型可以通过哪些方式部署？
DeepSeek-R1模型可以通过Amazon Bedrock Marketplace、Amazon SageMaker JumpStart、Amazon Bedrock Custom Model Import等方式部署。
Inferentia2芯片的主要功能是什么？
Inferentia2芯片是亚马逊云科技自主研发的云端机器学习推理芯片，提供高性能和高效率的计算能力。
使用SageMaker部署DeepSeek-R1-Distill模型有哪些好处？
使用SageMaker部署模型的好处包括完全托管基础设施、自动缩放、自动修补等。
如何在SageMaker中创建Docker容器？
在SageMaker Notebook中执行相关命令以创建Docker容器，并确保容器在8080端口列出网络服务器，接受特定POST请求。
如何上传模型权重到S3存储桶？
可以使用Python代码将模型权重上传到S3存储桶，首先需要创建一个包含sagemaker的S3存储桶，然后运行相应的上传命令。
如何调用SageMaker Endpoint进行推理？
可以使用Python代码调用SageMaker Endpoint，构造请求并发送到指定的端点以执行推理。
