Amazon SageMaker HyperPod 存储设计与实践（一）
内容提要
SageMaker HyperPod是Amazon SageMaker的分布式训练库，可提高模型性能。然而，FSx for Lustre无法满足安全隔离需求。通过实现EFS Access Point支持，可以实现用户工作环境的隔离和安全性。此外，还介绍了存储使用与实践。
延伸解读
默认存储的局限与多存储组合的必要性
SageMaker HyperPod 默认仅支持 FSx for Lustre，但共享目录无法隔离不同开发者的代码环境，且训练数据、检查点等不同用途的数据对存储需求各异。同时，多个训练任务并发时可能争抢 FSx for Lustre 带宽，影响长周期训练。因此，文章提出结合 EFS、Mountpoint for S3 等存储进行精细化设计，以分别满足安全隔离、成本优化和持久化需求。
EFS Access Point 实现用户隔离的关键步骤
文章详细介绍了通过 EFS Access Point 实现用户 home 目录隔离的流程：根据 shared_users.txt 中的用户信息创建对应的 Access Point，并记录映射关系；编写 mount_efs.sh 脚本挂载 EFS；在 lifecycle_script.py 中循环挂载每个 Access Point；并增加 remount 服务确保挂载状态。最终每个用户拥有独立 home 目录，且权限控制实现安全隔离。
权限隔离的实际效果与验证
部署后，每个用户的 home 目录挂载在 /home/用户名 下，用户对自己的目录有完全访问权限，可创建、修改、删除文件；对其他用户目录仅有只读权限，无法修改或删除文件。文章通过切换用户和尝试操作验证了隔离效果，并指出可根据需要设置更严格的权限，如禁止其他用户访问。这提升了集群中代码和数据的安全性。
后续方向：Mountpoint for S3 与场景化实践
文章提到将在下一篇中实现 SageMaker HyperPod 集群创建时对 Mountpoint for S3 的支持，并针对不同模型训练场景进行存储使用与实践。这表明当前方案主要解决用户隔离问题，而数据读取优化、检查点直接保存至 S3 等需求将在后续完善，读者可关注存储组合的完整落地。
Q&A
SageMaker HyperPod 是什么？
SageMaker HyperPod 是 Amazon SageMaker 的分布式训练库，能够提高模型性能并缩短训练时间。
FSx for Lustre 存在什么问题？
FSx for Lustre 无法满足安全隔离需求，导致不同开发人员的代码环境无法安全隔离。
如何实现用户工作环境的隔离？
通过实现 EFS Access Point 支持，可以为每个用户创建独立的 home 目录，从而实现工作环境的隔离和安全性。
SageMaker HyperPod 的存储设计需要考虑哪些因素？
存储设计需要结合不同存储方式，以满足实际需求，如数据备份、管理和安全隔离。
EFS Access Point 的作用是什么？
EFS Access Point 允许每个用户拥有独立的 home 目录，实现安全隔离，并便于数据备份和管理。
SageMaker HyperPod 如何处理检查点数据？
检查点数据可以先存储在 FSx for Lustre 中，再自动同步回 S3，实现持久性存储。
