AWS 为 SageMaker HyperPod 推出强化可观测性:以 CloudWatch 找出 GPU 离群值,支持 EKS 与 Slurm,现已上线

AWS 宣布 SageMaker HyperPod 新增强化可观测性,帮助更快诊断 GPU 训练问题,适用于 EKS 与 Slurm 集群,并在提供 HyperPod 的所有 AWS 区域上线。

新闻日期: 阅读时间约 6 分钟

LINE 分享
目录
  1. 1. 这次到底新增了什么?和以前有何不同?
  2. 2. 默认与高级指标、CloudWatch 与 Prometheus 有何区别?
  3. 3. 支持哪些集群?如何开始使用?
  4. 4. 对日常训练运维有什么影响?

可观测性(observability)指的是收集指标与日志,以便看出系统哪里出了问题的能力。AWS 这次为 Amazon SageMaker HyperPod 推出强化版,针对的场景是大型分布式 GPU 训练突然变慢。AWS 指出,团队常常要花数小时甚至数天翻查日志与分散的仪表板,才能判断原因是 GPU 被节流、网络链路饱和,还是主机上的数据管线卡住。据 AWS 介绍,该功能已在提供 HyperPod 的所有 AWS 区域上线(“available today”)。它同时支持 Amazon EKS(AWS 托管的 Kubernetes 服务)与 Slurm(集群作业调度工具)两种编排方式。

这次到底新增了什么?和以前有何不同?

AWS 指出,大型模型训练成本高昂,单个不健康的加速器就可能拖住整个分布式作业。AWS 表示,过去要观察 HyperPod 基础设施,需要拼接多个独立工具,而且指标只能显示性能下降,却说不出原因。

诊断摘要结合了两种做法。第一是 GPU 离群值检测:据 AWS 介绍,它使用 CloudWatch 的 DetectGroupOutliers API,在同一个训练作业内比较各 GPU 的使用率、内存用量、温度、功耗与 SM 时钟(GPU 计算核心的时钟)。表现明显偏离其他 GPU 的那一块,会以离群卡片显示。第二是静态诊断规则,按已知的故障模式将问题分类如下:

  • 硬件:GPU ECC 内存错误(内存纠错机制检测到的错误)、XID 错误(NVIDIA GPU 上报的错误代码)、加速器故障。
  • 网络:EFA(Elastic Fabric Adapter,节点之间通信用的网络接口)吞吐量下降、丢包、重传。
  • 节流:因热、电路板或可靠性限制导致的 GPU 时钟降低。
  • 过热:GPU 温度超过设定上限。

AWS 表示,每个检测到的问题都会标明受影响的作业、集群、节点、加速器与 rank(分布式训练中各个进程的编号),方便直接定位。

默认与高级指标、CloudWatch 与 Prometheus 有何区别?

依据 AWS 说明整理的指标层级与存储库选项
项目内容备注
默认指标集群健康、CPU/磁盘/OS、GPU 使用率与温度、每作业资源使用率自动启用;每 30 秒采集;约 1–2% CPU、250–300 MB 内存
高级指标完整 node exporter(主机级指标)、NVIDIA DCGM(GPU 监控)与 AWS Neuron 指标、EFA 网络指标可选启用;遥测量增加,有成本影响
Amazon CloudWatch通过 CloudWatch SageMaker Insights 在 AWS 管理控制台查看新的默认选项;AWS 称定价低于 Managed Service for Prometheus
Amazon Managed Service for Prometheus适合以 Prometheus 与 Grafana 为标准的团队此前唯一支持的选项

AWS 说明,在小集群上运行小型作业时,高级指标多半没有必要;对大型集群上的长时间训练则更有价值,因为问题模式会随时间显现。

支持哪些集群?如何开始使用?

据 AWS 介绍,该功能在 EKS 集群上以附加组件(add-on)形式提供,在 Slurm 集群上以扩展(extension)形式提供,因此可通过 IAM(AWS 的身份与访问权限管理)控制谁能安装或变更。安装方式包括控制台、API 或 AWS CLI。AWS 文中列出的控制台流程如下:

  1. 在 SageMaker AI 控制台选择 HyperPod clusters,再选 Create HyperPod cluster,并选择 Orchestrated on Amazon EKS 或 Orchestrated by Slurm。
  2. Setup options 选 Custom setup,输入名称,Instance recovery 选 Automatic,然后 Submit。
  3. 在 HyperPod observability 部分确认 Enable HyperPod Observability 已勾选(默认勾选)。可按需选择高级指标、日志、指标存储库(CloudWatch 或 Prometheus)与 Grafana 工作区。
  4. 集群就绪后,到集群详情页的 Observability 标签页确认指标已在流入;可由此打开 CloudWatch 仪表板。

AWS 文章另提供 aws eks create-addon、aws sagemaker create-cluster-extension 等 CLI 示例,完整命令与参数请参考原文与开发者指南。AWS 还说明,Observability 标签页会显示节点数、加速器数、作业数,以及 GPU、vCPU 与内存的平均使用率。CloudWatch 仪表板另有诊断摘要、硬件、工作负载与网络视图。

对日常训练运维有什么影响?

AWS 表示,该功能能在成百上千块 GPU 中隔离出单个有问题的加速器,无论问题是 XID 错误、ECC 内存错误还是热节流,让团队把时间花在修复而非搜寻上。在仪表板中,硬件标签页提供设备级视图,显示 Active、Idle、Unhealthy 状态。工作负载标签页会标出网络使用异常的作业。网络标签页则显示 EFA 平均使用率、降级节点数与重传次数。以上均为 AWS 的功能描述,实际效果仍取决于各团队的集群与工作负载。

常见问题

这项功能是预览版还是已上线?

AWS 表示功能“今日提供”,并在所有提供 SageMaker HyperPod 的 AWS 区域可用。文中未提及预览或候补名单。

高级指标一定要开启吗?

不一定。AWS 表示高级指标为可选启用,会增加发送到指标存储库的遥测量,因此有成本影响。多数在小集群上运行小型作业的客户可能用不到,但对大型集群上的长时间训练更有价值。

启用后还能调整要采集哪些指标吗?

可以。AWS 表示任何指标类别或剖析功能都可随时启用或停用。EKS 集群可用 AWS CLI 更新附加组件配置,或在控制台的附加组件卡片选择 Actions → Edit。Slurm 集群则在集群详情页的 Extensions 标签页选择 Actions → Edit,或用 AWS CLI 更新扩展。

查看同分类最新消息

觉得这篇整理实用吗?分享给需要的朋友

LINE 分享

资料来源

本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。

生活分享