GPU抢不到就换一种：训练任务需要先声明可替代性
内容提要
AWS为SageMaker训练任务新增实例偏好功能，允许一次声明最多五种可接受实例，平台按序选择首个可用类型，若全部无容量则限时排队重试。团队需明确算力可替代性，并自行验证跨架构兼容性、调整节点数与检查点恢复，避免更快开始反而更慢更贵。
延伸解读
从指定机型到声明约束的调度转变
文章指出，云上GPU调度正从“请求某个型号”转向“声明任务约束和偏好”。SageMaker的Instance Preferences允许一次声明最多五种可接受实例，平台按序选择首个可用类型。这要求团队把隐含的兼容性写成显式契约，例如最低显存、允许的架构、最大排队时间等，而不再只是一个机型字符串。
自动回退不保证更快更便宜
官方称该功能可更快获得容量，但未公布普遍等待时间下降多少，效果取决于区域、时间和备选集合。自动回退也不保证更便宜，按需实例可能高于预留成本。文章提醒，涉及确定性复现或硬件特定内核时，固定型号仍是合理选择，不能把“首个有容量”误解为“当前最优”。
跨架构兼容性需自行验证
SageMaker不会检查GPU架构、Elastic Fabric Adapter、驱动版本是否匹配。两种实例都能拉起容器，也不代表吞吐等价。团队需为每种备选实例跑小规模镜像、驱动和分布式通信测试，并按等价吞吐调整节点数，否则“更快开始”可能换来训练更慢、费用更高，甚至数值结果变化。
容量回退需与训练可恢复配套
偏好列表只负责下一次找到机器，不会自动保证检查点能跨架构恢复。优化器状态、随机数种子、分布式切分方式和存储带宽都可能成为新的失败点。文章建议首次启用前故意中断一次小任务，再从备选实例恢复并比较损失曲线，确保回退后训练仍可继续。
Q&A
AWS SageMaker 新增的 Instance Preferences 功能是什么？
AWS 于9月15日为 SageMaker 训练与处理任务加入 Instance Preferences，允许用户一次声明最多五种可接受的实例类型，平台按顺序选择首个可用类型。若全部无容量，作业进入事件驱动队列，在 MaxPendingTimeInSeconds 限制内自动重试。
使用 Instance Preferences 时，平台会自动验证跨实例类型的兼容性吗？
不会。官方特别提醒，SageMaker 不会检查 GPU 架构、Elastic Fabric Adapter、驱动版本是否匹配。两种实例都能拉起容器，也不代表吞吐等价。团队需要自行验证跨架构兼容性。
Instance Preferences 的等待上限是如何计算的？
MaxPendingTimeInSeconds 限制针对整张实例列表，而不是每一种实例分别计时，并且只在列表包含加速计算实例时生效。
训练任务如何将预付费的 Flexible Training Plan 与偏好列表结合？
训练任务可以把预付费的 Flexible Training Plan 绑定到某个偏好项：先尝试已预留容量，再回退到按需实例。处理任务同样支持偏好列表，但不支持 Training Plan 集成。
启用 Instance Preferences 后，团队需要做哪些配套调整？
团队需要为每种备选实例跑小规模镜像、驱动和分布式通信测试；按等价吞吐调整节点数，而不是默认一比一替换；设置最大等待时间、最大运行时间和成本告警；在日志中记录最终选中的实例类型；并将容量回退与训练可恢复配套设计，例如故意中断小任务测试跨架构恢复。
Instance Preferences 能保证训练更快或更便宜吗？
不能保证。官方称功能可更快获得容量，但没有公布普遍等待时间下降多少；效果取决于区域、时间和备选集合。自动回退也不保证更便宜，按需实例可能高于预留成本。调度器遵循用户给定的优先顺序，不会综合预测总完成时间、跨区流量或电价。
