AWS 為 SageMaker HyperPod 推出強化可觀測性:以 CloudWatch 找出 GPU 離群值,支援 EKS 與 Slurm,現已上線

AWS 宣布 SageMaker HyperPod 新增強化可觀測性,協助更快診斷 GPU 訓練問題,適用 EKS 與 Slurm 叢集,並在提供 HyperPod 的所有 AWS 區域上線。

新聞日期: 閱讀時間約 6 分鐘

LINE 分享
目錄
  1. 1. 這次到底新增了什麼?和以前有何不同?
  2. 2. 預設與進階指標、CloudWatch 與 Prometheus 差在哪?
  3. 3. 支援哪些叢集?如何開始使用?
  4. 4. 對日常訓練維運有什麼影響?

可觀測性(observability)指的是收集指標與日誌,以便看出系統哪裡出了問題的能力。AWS 這次為 Amazon SageMaker HyperPod 推出強化版,鎖定的情境是大型分散式 GPU 訓練突然變慢。AWS 指出,團隊常得花數小時甚至數天翻查日誌與分散的儀表板,才能判斷原因是 GPU 被節流、網路連結飽和,還是主機上的資料管線卡住。依 AWS 說明,此功能已在提供 HyperPod 的所有 AWS 區域上線(「available today」)。它同時支援 Amazon EKS(AWS 託管的 Kubernetes 服務)與 Slurm(叢集工作排程工具)兩種編排方式。

這次到底新增了什麼?和以前有何不同?

AWS 指出,大型模型訓練成本高昂,單一不健康的加速器就可能拖住整個分散式工作。AWS 表示,過去要觀察 HyperPod 基礎設施,需要拼接多個獨立工具,而且指標只能顯示效能下降,卻說不出原因。

診斷摘要結合兩種做法。第一是 GPU 離群值偵測:依 AWS 說明,它使用 CloudWatch 的 DetectGroupOutliers API,在同一個訓練工作內比較各 GPU 的使用率、記憶體用量、溫度、功耗與 SM 時脈(GPU 運算核心的時脈)。表現明顯偏離其他 GPU 的那一顆,會以離群卡片顯示。第二是靜態診斷規則,依已知的故障模式將問題分類如下:

  • 硬體:GPU ECC 記憶體錯誤(記憶體錯誤校正機制偵測到的錯誤)、XID 錯誤(NVIDIA GPU 回報的錯誤代碼)、加速器故障。
  • 網路:EFA(Elastic Fabric Adapter,節點之間通訊用的網路介面)吞吐量下降、封包遺失、重傳。
  • 節流:因熱、電路板或可靠性限制造成的 GPU 時脈降低。
  • 過熱:GPU 溫度超過設定上限。

AWS 表示,每個偵測到的問題都會標示受影響的工作、叢集、節點、加速器與 rank(分散式訓練中各個程序的編號),方便直接定位。

預設與進階指標、CloudWatch 與 Prometheus 差在哪?

依 AWS 說明整理的指標層級與儲存庫選項
項目內容備註
預設指標叢集健康、CPU/磁碟/OS、GPU 使用率與溫度、每工作資源使用率自動啟用;每 30 秒收集;約 1–2% CPU、250–300 MB 記憶體
進階指標完整 node exporter(主機層級指標)、NVIDIA DCGM(GPU 監控)與 AWS Neuron 指標、EFA 網路指標選擇性啟用;遙測量增加,有成本影響
Amazon CloudWatch透過 CloudWatch SageMaker Insights 在 AWS 管理主控台檢視新預設;AWS 稱定價低於 Managed Service for Prometheus
Amazon Managed Service for Prometheus適合以 Prometheus 與 Grafana 為標準的團隊以往唯一支援的選項

AWS 說明,在小叢集上執行小型工作時,進階指標多半不必要;對大型叢集上的長時間訓練則較有價值,因為問題模式會隨時間浮現。

支援哪些叢集?如何開始使用?

依 AWS 說明,此功能在 EKS 叢集以附加元件(add-on)形式提供,在 Slurm 叢集則以擴充(extension)形式提供,因此可透過 IAM(AWS 的身分與存取權限管理)控制誰能安裝或變更。安裝方式包括主控台、API 或 AWS CLI。AWS 文中列出的主控台流程如下:

  1. 在 SageMaker AI 主控台選擇 HyperPod clusters,再選 Create HyperPod cluster,並選 Orchestrated on Amazon EKS 或 Orchestrated by Slurm。
  2. Setup options 選 Custom setup,輸入名稱,Instance recovery 選 Automatic,然後 Submit。
  3. 在 HyperPod observability 區段確認 Enable HyperPod Observability 已勾選(預設勾選)。視需要選擇進階指標、日誌、指標儲存庫(CloudWatch 或 Prometheus)與 Grafana 工作區。
  4. 叢集就緒後,到叢集詳細頁的 Observability 分頁確認指標已在串流;可由此開啟 CloudWatch 儀表板。

AWS 文章另提供 aws eks create-addon、aws sagemaker create-cluster-extension 等 CLI 範例,完整指令與參數請參考原文與開發者指南。AWS 並說明,Observability 分頁會顯示節點數、加速器數、工作數,以及 GPU、vCPU 與記憶體的平均使用率。CloudWatch 儀表板另有診斷摘要、硬體、工作負載與網路檢視。

對日常訓練維運有什麼影響?

AWS 表示,此功能能在成百上千顆 GPU 中隔離出單一有問題的加速器,無論問題是 XID 錯誤、ECC 記憶體錯誤或熱節流,讓團隊把時間花在修復而非搜尋。在儀表板中,硬體分頁提供裝置層級視圖,顯示 Active、Idle、Unhealthy 狀態。工作負載分頁會標示網路使用異常的工作。網路分頁則顯示 EFA 平均使用率、降級節點數與重傳次數。以上均為 AWS 的功能描述,實際效果仍視各團隊的叢集與工作負載而定。

常見問題

這項功能是預覽版還是已上線?

AWS 表示功能「今日提供」,並在所有提供 SageMaker HyperPod 的 AWS 區域可用。文中未提及預覽或候補名單。

進階指標一定要開啟嗎?

不一定。AWS 表示進階指標為選擇性啟用,會增加送往指標儲存庫的遙測量,因此有成本影響。多數在小叢集執行小型工作的客戶可能用不到,但對大型叢集上的長時間訓練較有價值。

啟用後還能調整要收集哪些指標嗎?

可以。AWS 表示任何指標類別或剖析功能都能隨時啟用或停用。EKS 叢集可用 AWS CLI 更新附加元件設定,或在主控台的附加元件卡片選 Actions → Edit。Slurm 叢集則在叢集詳細頁的 Extensions 分頁選 Actions → Edit,或用 AWS CLI 更新擴充。

查看同分類最新消息

覺得這篇整理實用嗎?分享給需要的朋友

LINE 分享

資料來源

本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。

生活分享