大型模型训练可能在所有节点看似健康时仍然失败:GPU返回错误但合理的数值、NCCL通信卡住、设备插件崩溃,任务却继续占用昂贵资源。AWS在2026年11月18日为SageMaker HyperPod增加工作负载恢复和扩展基础设施检查,目标是提高goodput,也就是集群时间中真正用于有效训练的比例。
为什么普通健康检查不够
CPU、内存和GPU利用率正常,并不能证明计算结果正确。静默数据损坏可能让损失曲线缓慢偏离,直到数小时后才发现;通信问题可能让任务挂起但调度器仍显示运行。训练平台需要在任务前、运行中和故障后三个阶段检查硬件、网络和软件组件,而不是只在节点启动时跑一次压力测试。
检查哪些层面
节点级检查关注GPU、显存、温度和错误计数;集群级检查关注GPU间NCCL或Trainium间NCCOM通信;软件层检查设备插件、驱动、容器和挂载;训练层检查梯度、损失、吞吐和心跳。HyperPod新增的连接检查会跨实例运行通信测试,有助于识别单机测试发现不了的问题。
检查点设计
根据单次训练步成本和恢复时间确定保存频率。检查点应包含模型权重、优化器、学习率调度、随机状态、数据位置和代码版本。写入使用临时路径,完成校验后再标记可用,防止中断留下损坏文件。定期从检查点实际恢复一小段训练,不能只确认文件存在。
自动恢复流程
监控发现故障后先停止受影响任务,保存可用诊断信息,再隔离节点并申请替换。调度器从最近有效检查点恢复,验证损失和吞吐连续性后继续。恢复动作要限制重试次数;同一阶段反复失败时转人工,防止循环消耗算力。所有事件记录故障类型、节点、损失时间和恢复结果。
静默错误怎么发现
对关键张量增加有限范围、NaN和校验检查,在不同节点重复少量确定性计算,比较结果。监控损失突变、梯度范数、吞吐下降和通信超时。告警阈值依据模型和训练阶段设置,避免把正常波动当故障。高价值训练可使用影子计算或定期验证集评估,尽早发现模型已经偏离。
故障演练
在非生产训练中主动终止节点、断开网络、损坏检查点副本和停止设备插件,验证告警、隔离、替换与恢复。测量恢复点目标和恢复时间目标。每次框架、驱动、容器或集群配置升级后重新演练,因为恢复链路的任何一环变化都可能失效。
运营指标
除GPU利用率外,跟踪goodput、每千步故障数、平均发现时间、平均恢复时间、丢失训练步数和重复故障节点。将这些指标折算为算力费用,才能判断检查与恢复机制的真实收益。训练完成后保留故障报告,为下一轮容量和硬件选择提供依据。
站内相关阅读
参考来源
官方原始资料。本文依据官方资料独立整理,补充了实施、验收和风险控制建议;产品能力、区域、价格及开放范围以官方最新说明为准。