内容提要
Amazon SageMaker宣布上线完全托管的MLflow功能,帮助机器学习团队管理整个ML生命周期。客户可以轻松设置和管理MLflow跟踪服务器,简化流程并提高生产力。Amazon SageMaker消除了设置和管理MLflow的繁重工作,为ML管理员提供了一种在AWS上建立安全且可扩展的MLflow环境的快速方法。
延伸解读
托管 MLflow 的组件与安全配置
SageMaker 上的托管 MLflow 由三个核心组件构成:MLflow 跟踪服务器、后端元数据存储和构件存储。跟踪服务器通过 REST API 管理实验和运行;元数据存储保存实验名称、运行 ID、参数、指标等;构件存储使用客户账户中的 Amazon S3 存储桶,确保数据安全。安全方面,通过 IAM 执行角色控制对 S3 的读写及模型注册权限,并可编写 IAM 策略精细控制对特定 MLflow API 的访问。
实验跟踪与模型治理的集成优势
该功能支持从本地 IDE、SageMaker Studio、训练作业、处理作业和 Pipelines 中全面跟踪 MLflow 实验,并利用 MLflow 跟踪、评估和模型注册表比较训练迭代。在 MLflow 中注册的模型会自动出现在 SageMaker 模型注册表中,实现统一治理,并可直接部署到 SageMaker 推理,无需构建自定义容器。这促进了数据科学家与 ML 工程师之间的协作。
使用成本与区域可用性
MLflow 跟踪服务器的计费基于服务器运行时间、大小以及记录到服务器的数据量。创建后即开始产生费用,因此建议在不使用时停用或删除跟踪服务器以节省成本。该功能现已在所有提供 SageMaker Studio 的 AWS 区域正式推出,但中国区域和美国 GovCloud 区域除外。
Q&A
Amazon SageMaker 上的 MLflow 功能有什么优势?
Amazon SageMaker 上的 MLflow 功能可以简化机器学习工作流程,提供全面的实验跟踪、统一模型治理和高效的服务器管理。
如何在 SageMaker 上创建 MLflow 跟踪服务器?
在 SageMaker Studio UI 中选择 MLflow,命名跟踪服务器并指定构件存储位置,然后创建跟踪服务器。
MLflow 跟踪服务器的计费是如何计算的?
MLflow 跟踪服务器的计费基于服务器运行的时间、大小以及记录到跟踪服务器的数据量。
MLflow 是什么,它的主要功能有哪些?
MLflow 是一种开源工具,帮助机器学习团队管理 ML 生命周期,主要功能包括实验跟踪、模型注册和评估。
如何在 MLflow 中注册模型?
使用 sagemaker-mlflow 插件将模型注册到 MLflow 模型注册表后,模型会自动出现在 SageMaker 模型注册表中。
SageMaker 上的 MLflow 功能在哪些区域可用?
SageMaker 上的 MLflow 功能在所有提供 SageMaker Studio 的 AWS 区域正式推出,除了中国和美国 GovCloud 区域。