亚马逊ECS现可自动修复故障GPU和实例，这对SRE为何重要
内容提要
亚马逊ECS内置自动故障恢复机制：检测并修复GPU故障和实例失联，跨可用区均衡任务，容器崩溃时就地重启，日志默认非阻塞以避免拖垮应用。ECS负责常规恢复，同时保留用户控制权，并集成FIS用于故障测试。
延伸解读
GPU故障检测的盲区与自动修复
文章指出，GPU直通给实例后，多数GPU故障无法被EC2状态检查发现，只会表现为任务失败或延迟。ECS通过集成NVIDIA DCGM监控错误类别，区分真实硬件故障与瞬态错误，并自动修复。这填补了传统监控的盲区，对运行GPU推理等加速工作负载的SRE尤为重要，因为这类故障往往难以定位。
可用区再平衡与流量本地化
当某个可用区出现故障时，ECS会自动将新任务和实例调度到健康可用区，并持续监控任务分布，在分布不均时启动新任务、停止旧任务以恢复均衡。若使用Service Connect，还可启用区域感知路由，将调用限制在调用者所在可用区，减少跨区流量和故障暴露。这些机制默认对符合条件的服务开启，有助于维持服务容量和降低延迟。
非阻塞日志默认值的权衡
ECS将日志驱动默认模式改为非阻塞，当日志后端缓慢或不可用时，应用不会因日志写入阻塞而崩溃，而是丢弃无法投递的日志。这体现了可用性优先于持久性的权衡，适合大多数工作负载。但需要保证日志交付的场景（如计费、审计）仍可通过账户设置或任务定义选择阻塞模式。SRE需根据合规要求评估是否调整默认值。
用FIS主动验证恢复能力
ECS与AWS故障注入服务（FIS）集成，允许对运行中的任务注入资源或网络故障，例如延迟、丢包或黑洞，以测试超时、重试和回退逻辑是否符合预期。网络故障注入已覆盖包括Fargate在内的启动类型。SRE可以利用这些实验在真实故障发生前验证系统的恢复行为，并据此调整恢复设置。
Q&A
亚马逊ECS如何自动检测和修复GPU故障？
ECS在Managed Instances上集成NVIDIA数据中心GPU管理器（DCGM），监控指示真实硬件故障的错误类别，并自动执行修复，无需用户干预。
ECS如何处理实例失联或代理连接丢失？
ECS自动检测代理连接持续丢失，将实例视为受损并回收；短暂波动不会触发回收。在Fargate和Managed Instances上，ECS运行相同的持续监控与修复循环。
ECS如何跨可用区均衡任务以应对可用区故障？
ECS持续监控服务任务在可用区间的分布，当分布不均时，在任务最少的可用区启动任务，待健康运行后停止任务最多的可用区中的任务，直至分布均匀。此功能对符合条件的服务默认开启。
ECS的容器重启策略如何工作？
当任务中的某个容器崩溃时，ECS根据容器重启策略就地重启该容器，而不重新启动整个任务，从而避免不必要的重新调度。用户可以指定哪些容器适用以及哪些退出码不应重试。
ECS为什么将日志驱动模式默认改为非阻塞？
阻塞日志模式在日志后端缓慢或不可用时会导致应用停顿或崩溃。ECS将非阻塞设为默认，当日志依赖降级时应用会继续服务并丢弃无法投递的日志，而不是阻塞。需要保证投递的客户仍可选择阻塞模式。
如何测试ECS应用的故障恢复能力？
ECS与AWS故障注入服务（FIS）集成，提供ECS任务操作，可对运行中的任务执行受控故障实验，如停止任务、注入资源或网络故障（延迟、丢包、黑洞），以验证超时、重试和回退行为。
