Amazon SageMaker HyperPod Slurm 推出集群扩展功能:可观测性与用户管理两项托管扩展,所有 HyperPod 支持区域可用

AWS 宣布为 SageMaker HyperPod Slurm 集群推出集群扩展功能,首批提供可观测性与用户管理两项托管扩展,可通过 API 或控制台管理。据 AWS 介绍,无额外费用,需满足 AMI 与持续预配等条件。

新闻日期: 阅读时间约 6 分钟

目录
  1. 1. 集群扩展功能和过去的生命周期脚本有什么不同?
  2. 2. 目前有哪两项扩展?各自能做什么?
  3. 3. 接入流程与运维上会有什么影响?
  4. 4. 费用与可用区域?

AWS 在官方博客宣布,Amazon SageMaker HyperPod 的 Slurm 集群新增“集群扩展功能”。Slurm 是用来在多台 GPU 机器上调度和分派计算任务的系统,常见于训练大型 AI 模型的共享集群。过去,节点上的监控工具与用户账号多半靠“生命周期脚本”来配置,也就是节点创建时自动执行的安装脚本。新功能让团队改用 API 或 SageMaker AI 控制台,声明、更新并查看这些软件。AWS 介绍,这能减少各节点配置逐渐不一致的问题,出错时也能直接看到是哪些节点、哪个环节出了状况。

集群扩展功能和过去的生命周期脚本有什么不同?

AWS 指出,生命周期脚本只在节点预配时运行。每次变更都得修改脚本,再替换节点或在整个集群重跑。错误只有在脚本运行时才会暴露,也没有机制报告实际安装了什么,节点因此可能逐渐不一致。AWS 称集群扩展功能是由 AWS 管理的软件包,可通过 API 或控制台安装、配置、更新和移除。

  • 事前校验:配置提交时会按结构定义(规定每个配置项名称与格式的规则)检查,拼错的配置会在到达节点前被拒绝。
  • 节点一致:应用到每个节点,包括扩容或替换的节点。
  • 可用 API 或控制台变更:两种途径使用相同的已校验配置。
  • 状态可见:每项扩展报告状态及各节点健康度。

目前有哪两项扩展?各自能做什么?

据 AWS 介绍,目前支持两项扩展。可观测性扩展负责采集监控指标,涵盖节点、GPU、EFA(Elastic Fabric Adapter,节点间的高速网络接口)、Slurm 作业和 Slurm 集群。这些指标会发送到 Amazon CloudWatch 或 Amazon Managed Service for Prometheus,也可搭配 Amazon Managed Grafana,获得 Clusters 与 Jobs 两个预置仪表板。用户管理扩展则在每个节点创建相同 ID 的用户和用户组,并控制各节点类型的 SSH 与 sudo 权限。它还会在 Slurm 作业记账(accounting,记录作业资源使用情况)中登记用户,并能对接 Active Directory。

两项托管集群扩展对比(依据 AWS 博客)
方面可观测性用户管理
扩展名称sagemaker-observabilitysagemaker-user-management
主要功能采集节点、GPU、EFA、Slurm 指标创建 ID 一致的用户和用户组,管理 SSH 与 sudo
输出或集成CloudWatch 或 Managed Service for Prometheus;可搭配 Managed Grafana可连接 Active Directory(LDAPS)或使用本地账号
额外要求执行角色需 CloudWatch 或 aps:RemoteWrite 权限需共享文件系统(如 FSx for Lustre);读取 AD 密钥需 secretsmanager:GetSecretValue

接入流程与运维上会有什么影响?

使用前,集群需采用 2026 年 11 月 2 日或更新的 HyperPod AMI,并启用持续预配。AMI 是预先配置好的系统镜像;持续预配则会在后台持续重试获取计算容量。AWS 表示,扩展状态分为 Creating、Updating、Active 与 Degraded。节点级别的问题会显示在 DescribeClusterExtension 的 Health 字段,包含代码、消息和受影响节点数。HyperPod 会自行重试内部失败;其他问题则需修复原因,再以不改变内容的 UpdateClusterExtension 重试。升级版本时,若现有配置不符合新版结构定义,请求会被拒绝,且不做任何变更。

若已用脚本提供相同功能,AWS 建议逐项功能迁移,步骤如下:先以 UpdateClusterSoftware 升级到 2026 年 11 月 AMI 或更新版本;接着在生命周期脚本中关闭该功能并上传至 S3;然后在规划的维护窗口,移除各节点上由脚本安装的代理程序;最后调用 CreateClusterExtension。AWS 同时强调,用户仍可 SSH 登录包括控制器在内的所有节点,并运行自己的脚本。

费用与可用区域?

AWS 表示,集群扩展功能自 2026 年 11 月起,在所有支持 HyperPod 的区域均可使用,且扩展本身无额外费用。用户需支付搭配使用的 AWS 资源费用,如 Amazon CloudWatch、Amazon Managed Service for Prometheus 和 AWS Secrets Manager。

常见问题

哪些情况适合用扩展,哪些仍用脚本?

按 AWS 建议,若 HyperPod 提供对应的托管软件能力(如 GPU 与作业指标、一致的用户账号),就使用扩展;组织专属的软件或初始化,则用自定义 AMI 和生命周期脚本。

使用扩展后还能直接登录节点吗?

可以。AWS 表示,用户仍保有所有节点(含控制器节点)的完整访问权限,也能 SSH 登录进行配置并运行自己的生命周期脚本。

升级扩展版本需要更新 AMI 吗?

据 AWS 介绍不需要。AWS 发布新版扩展后,可先列出可安装的版本,再原地升级,之后加入的节点也会获得新版。升级只能向前进行。

从脚本改用用户管理扩展,账号会改变吗?

AWS 表示,改用用户管理扩展后,会保留相同的用户名和用户 ID。

扩展出现 Degraded 时怎么办?

据 AWS 介绍,可在 DescribeClusterExtension 的 Health 字段查看问题代码和受影响节点数,修复原因后,调用不带变更的 UpdateClusterExtension 重试;内部失败则由 HyperPod 自行重试。

查看同分类最新消息

觉得这篇整理实用吗?分享给需要的朋友

资料来源

本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。

生活分享