Amazon SageMaker HyperPod Slurm 推出叢集擴充功能:可觀測性與使用者管理兩項託管擴充,全 HyperPod 支援區域可用

AWS 宣布為 SageMaker HyperPod Slurm 叢集推出叢集擴充功能,首批提供可觀測性與使用者管理兩項託管擴充,可透過 API 或主控台管理。依 AWS 說明,無額外費用,需符合 AMI 與持續佈建等條件。

新聞日期: 閱讀時間約 6 分鐘

目錄
  1. 1. 叢集擴充功能和過去的生命週期腳本有什麼不同?
  2. 2. 目前有哪兩項擴充?各自能做什麼?
  3. 3. 導入流程與營運上會有什麼影響?
  4. 4. 費用與可用區域?

AWS 在官方部落格宣布,Amazon SageMaker HyperPod 的 Slurm 叢集新增「叢集擴充功能」。Slurm 是用來在多台 GPU 機器上排程與分派運算工作的系統,常見於訓練大型 AI 模型的共用叢集。過去,節點上的監控工具與使用者帳號多半靠「生命週期腳本」設定,也就是節點建立時自動執行的安裝腳本。新功能讓團隊改用 API 或 SageMaker AI 主控台,宣告、更新並檢視這些軟體。AWS 說明,這能減少各節點設定逐漸不一致的問題,出錯時也能直接看到是哪些節點、哪個環節出了狀況。

叢集擴充功能和過去的生命週期腳本有什麼不同?

AWS 指出,生命週期腳本只在節點佈建時執行。每次變更都得修改腳本,再替換節點或在整個叢集重跑。錯誤只有在腳本執行時才會顯現,也沒有機制回報實際安裝了什麼,節點因此可能逐漸不一致。AWS 稱叢集擴充功能是由 AWS 管理的軟體套件,可透過 API 或主控台安裝、設定、更新與移除。

  • 事前驗證:設定提交時會依結構描述(規定每個設定項目名稱與格式的規則)檢查,拼錯的設定會在到達節點前被拒絕。
  • 節點一致:套用到每個節點,包括擴容或替換的節點。
  • 可用 API 或主控台變更:兩種途徑使用相同的已驗證設定。
  • 狀態可見:每項擴充回報狀態與各節點健康度。

目前有哪兩項擴充?各自能做什麼?

依 AWS 說明,目前支援兩項擴充。可觀測性擴充負責蒐集監控指標,涵蓋節點、GPU、EFA(Elastic Fabric Adapter,節點間的高速網路介面)、Slurm 工作與 Slurm 叢集。這些指標會送往 Amazon CloudWatch 或 Amazon Managed Service for Prometheus,也可搭配 Amazon Managed Grafana,取得 Clusters 與 Jobs 兩個預建儀表板。使用者管理擴充則在每個節點建立相同 ID 的使用者與群組,並控制各節點類型的 SSH 與 sudo 權限。它也會向 Slurm 帳務登錄使用者,並能串接 Active Directory。

兩項託管叢集擴充比較(依 AWS 部落格)
面向可觀測性使用者管理
擴充名稱sagemaker-observabilitysagemaker-user-management
主要功能蒐集節點、GPU、EFA、Slurm 指標建立一致 ID 的使用者與群組,管理 SSH 與 sudo
輸出或整合CloudWatch 或 Managed Service for Prometheus;可搭配 Managed Grafana可連接 Active Directory(LDAPS)或使用本機帳號
額外需求執行角色需 CloudWatch 或 aps:RemoteWrite 權限需共用檔案系統(如 FSx for Lustre);讀取 AD 密鑰需 secretsmanager:GetSecretValue

導入流程與營運上會有什麼影響?

使用前,叢集需採用 2026 年 11 月 2 日或更新的 HyperPod AMI,並啟用持續佈建。AMI 是預先設定好的系統映像;持續佈建則會在背景持續重試取得運算容量。AWS 表示,擴充狀態分為 Creating、Updating、Active 與 Degraded。節點層級的問題會顯示在 DescribeClusterExtension 的 Health 欄位,包含代碼、訊息與受影響節點數。HyperPod 會自行重試內部失敗;其他問題則需修正原因,再以不變更內容的 UpdateClusterExtension 重試。升級版本時,若既有設定不符合新版結構描述,請求會被拒絕,且不做任何變更。

若已用腳本提供相同功能,AWS 建議逐項功能遷移,步驟如下:先以 UpdateClusterSoftware 升級到 2026 年 11 月 AMI 或更新版本;接著在生命週期腳本中關閉該功能並上傳至 S3;然後在規劃的維護時段,移除各節點上由腳本安裝的代理程式;最後呼叫 CreateClusterExtension。AWS 同時強調,使用者仍可 SSH 進入包含控制器在內的所有節點,並執行自己的腳本。

費用與可用區域?

AWS 表示,叢集擴充功能自 2026 年 11 月起,在所有支援 HyperPod 的區域皆可使用,且擴充本身無額外費用。使用者需支付搭配使用的 AWS 資源費用,如 Amazon CloudWatch、Amazon Managed Service for Prometheus 與 AWS Secrets Manager。

常見問題

哪些情況適合用擴充,哪些仍用腳本?

依 AWS 建議,若 HyperPod 有提供對應的託管軟體能力(如 GPU 與工作指標、一致的使用者帳號),就使用擴充;組織專屬的軟體或初始化,則用自訂 AMI 與生命週期腳本。

使用擴充後還能直接登入節點嗎?

可以。AWS 表示,使用者仍保有所有節點(含控制器節點)的完整存取權,也能 SSH 進入設定並執行自己的生命週期腳本。

升級擴充版本需要更新 AMI 嗎?

依 AWS 說明不需要。AWS 發布新版擴充後,可先列出可安裝的版本,再就地升級,之後加入的節點也會取得新版。升級只能往前進行。

從腳本改用使用者管理擴充,帳號會改變嗎?

AWS 表示,改用使用者管理擴充後,會保留相同的使用者名稱與使用者 ID。

擴充出現 Degraded 時怎麼辦?

依 AWS 說明,可在 DescribeClusterExtension 的 Health 欄位查看問題代碼與受影響節點數,修正原因後,呼叫不帶變更的 UpdateClusterExtension 重試;內部失敗則由 HyperPod 自行重試。

查看同分類最新消息

覺得這篇整理實用嗎?分享給需要的朋友

資料來源

本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。

生活分享