Amazon SageMaker HyperPod Slurm 推出集群扩展功能:可观测性与用户管理两项托管扩展,所有 HyperPod 支持区域可用
AWS 宣布为 SageMaker HyperPod Slurm 集群推出集群扩展功能,首批提供可观测性与用户管理两项托管扩展,可通过 API 或控制台管理。据 AWS 介绍,无额外费用,需满足 AMI 与持续预配等条件。
新闻日期: 阅读时间约 6 分钟
AWS 在官方博客宣布,Amazon SageMaker HyperPod 的 Slurm 集群新增“集群扩展功能”。Slurm 是用来在多台 GPU 机器上调度和分派计算任务的系统,常见于训练大型 AI 模型的共享集群。过去,节点上的监控工具与用户账号多半靠“生命周期脚本”来配置,也就是节点创建时自动执行的安装脚本。新功能让团队改用 API 或 SageMaker AI 控制台,声明、更新并查看这些软件。AWS 介绍,这能减少各节点配置逐渐不一致的问题,出错时也能直接看到是哪些节点、哪个环节出了状况。
集群扩展功能和过去的生命周期脚本有什么不同?
AWS 指出,生命周期脚本只在节点预配时运行。每次变更都得修改脚本,再替换节点或在整个集群重跑。错误只有在脚本运行时才会暴露,也没有机制报告实际安装了什么,节点因此可能逐渐不一致。AWS 称集群扩展功能是由 AWS 管理的软件包,可通过 API 或控制台安装、配置、更新和移除。
- 事前校验:配置提交时会按结构定义(规定每个配置项名称与格式的规则)检查,拼错的配置会在到达节点前被拒绝。
- 节点一致:应用到每个节点,包括扩容或替换的节点。
- 可用 API 或控制台变更:两种途径使用相同的已校验配置。
- 状态可见:每项扩展报告状态及各节点健康度。
目前有哪两项扩展?各自能做什么?
据 AWS 介绍,目前支持两项扩展。可观测性扩展负责采集监控指标,涵盖节点、GPU、EFA(Elastic Fabric Adapter,节点间的高速网络接口)、Slurm 作业和 Slurm 集群。这些指标会发送到 Amazon CloudWatch 或 Amazon Managed Service for Prometheus,也可搭配 Amazon Managed Grafana,获得 Clusters 与 Jobs 两个预置仪表板。用户管理扩展则在每个节点创建相同 ID 的用户和用户组,并控制各节点类型的 SSH 与 sudo 权限。它还会在 Slurm 作业记账(accounting,记录作业资源使用情况)中登记用户,并能对接 Active Directory。
| 方面 | 可观测性 | 用户管理 |
|---|---|---|
| 扩展名称 | sagemaker-observability | sagemaker-user-management |
| 主要功能 | 采集节点、GPU、EFA、Slurm 指标 | 创建 ID 一致的用户和用户组,管理 SSH 与 sudo |
| 输出或集成 | CloudWatch 或 Managed Service for Prometheus;可搭配 Managed Grafana | 可连接 Active Directory(LDAPS)或使用本地账号 |
| 额外要求 | 执行角色需 CloudWatch 或 aps:RemoteWrite 权限 | 需共享文件系统(如 FSx for Lustre);读取 AD 密钥需 secretsmanager:GetSecretValue |
接入流程与运维上会有什么影响?
使用前,集群需采用 2026 年 11 月 2 日或更新的 HyperPod AMI,并启用持续预配。AMI 是预先配置好的系统镜像;持续预配则会在后台持续重试获取计算容量。AWS 表示,扩展状态分为 Creating、Updating、Active 与 Degraded。节点级别的问题会显示在 DescribeClusterExtension 的 Health 字段,包含代码、消息和受影响节点数。HyperPod 会自行重试内部失败;其他问题则需修复原因,再以不改变内容的 UpdateClusterExtension 重试。升级版本时,若现有配置不符合新版结构定义,请求会被拒绝,且不做任何变更。
若已用脚本提供相同功能,AWS 建议逐项功能迁移,步骤如下:先以 UpdateClusterSoftware 升级到 2026 年 11 月 AMI 或更新版本;接着在生命周期脚本中关闭该功能并上传至 S3;然后在规划的维护窗口,移除各节点上由脚本安装的代理程序;最后调用 CreateClusterExtension。AWS 同时强调,用户仍可 SSH 登录包括控制器在内的所有节点,并运行自己的脚本。
费用与可用区域?
AWS 表示,集群扩展功能自 2026 年 11 月起,在所有支持 HyperPod 的区域均可使用,且扩展本身无额外费用。用户需支付搭配使用的 AWS 资源费用,如 Amazon CloudWatch、Amazon Managed Service for Prometheus 和 AWS Secrets Manager。
常见问题
哪些情况适合用扩展,哪些仍用脚本?
按 AWS 建议,若 HyperPod 提供对应的托管软件能力(如 GPU 与作业指标、一致的用户账号),就使用扩展;组织专属的软件或初始化,则用自定义 AMI 和生命周期脚本。
使用扩展后还能直接登录节点吗?
可以。AWS 表示,用户仍保有所有节点(含控制器节点)的完整访问权限,也能 SSH 登录进行配置并运行自己的生命周期脚本。
升级扩展版本需要更新 AMI 吗?
据 AWS 介绍不需要。AWS 发布新版扩展后,可先列出可安装的版本,再原地升级,之后加入的节点也会获得新版。升级只能向前进行。
从脚本改用用户管理扩展,账号会改变吗?
AWS 表示,改用用户管理扩展后,会保留相同的用户名和用户 ID。
扩展出现 Degraded 时怎么办?
据 AWS 介绍,可在 DescribeClusterExtension 的 Health 字段查看问题代码和受影响节点数,修复原因后,调用不带变更的 UpdateClusterExtension 重试;内部失败则由 HyperPod 自行重试。
同主题延伸阅读
Claude Code 2.1.330:企业管理控制台登录、easel 图表模块、定时任务延长至 30 天
Anthropic 在 Claude Code 2.1.330 更新日志中列出企业管理控制台登录、内置图表模块 easel、定时任务最长 30 天,以及更严格的 rm 命令审核。
AWS Quick 更新:对话创建流程、多智能体协作、新增 Meta ads 与 Amplitude 连接器,AWS 称所有 Quick 区域即日可用
AWS 推出分布式 KV 缓存 Agent Skill:AWS 称自建 LLM 成本最多降 40%、首字延迟最多降 80%
Amazon Textract Insights 正式推出:以自然语言抽取文档字段,附置信度评分与页面定位,单文件最多 3,000 页
资料来源
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。