AWSがSageMaker HyperPodに強化版オブザーバビリティを導入:CloudWatchでGPUの外れ値を特定、EKSとSlurmに対応し提供開始
AWSはSageMaker HyperPodに強化版オブザーバビリティを追加し、GPU学習の問題をより早く診断できるようにしました。EKSとSlurmのクラスターに対応し、HyperPodが提供されるすべてのAWSリージョンで利用可能です。
ニュース日: 読了目安 9 分
オブザーバビリティ(可観測性)とは、メトリクスやログを収集して、システムのどこに問題があるかを把握できる能力のことです。AWSはAmazon SageMaker HyperPod向けに強化版を導入しました。想定しているのは、大規模な分散GPU学習が突然遅くなる場面です。AWSによれば、原因がGPUのスロットリング、ネットワークリンクの飽和、ホスト上のデータパイプラインの停滞のどれなのかを判断するために、チームはログや分散したダッシュボードを何時間、時には何日も調べることが多いといいます。AWSの説明では、この機能はHyperPodが提供されるすべてのAWSリージョンで本日(「available today」)利用可能です。また、Amazon EKS(AWSのマネージドKubernetesサービス)とSlurm(クラスターのジョブスケジューラー)の両方のオーケストレーションに対応しています。
今回何が追加され、従来と何が違うのか
AWSによると、大規模モデルの学習はコストが高く、不健全なアクセラレーターが1つあるだけで分散ジョブ全体が足止めされることがあります。AWSは、従来HyperPodのインフラを観察するには複数の独立したツールをつなぎ合わせる必要があり、メトリクスからは性能低下が分かっても原因までは分からなかったと述べています。
診断サマリーは2つの手法を組み合わせています。1つ目はGPU外れ値検出です。AWSの説明では、CloudWatchのDetectGroupOutliers APIを使い、同一の学習ジョブ内でGPUごとの使用率、メモリ使用量、温度、消費電力、SMクロック(GPUの演算コアのクロック)を比較します。他のGPUから大きく外れた1枚は、外れ値カードとして表示されます。2つ目は静的な診断ルールで、既知の障害パターンに基づいて問題を次のように分類します。
- ハードウェア:GPUのECCメモリエラー(メモリ誤り訂正機構が検出したエラー)、XIDエラー(NVIDIA GPUが報告するエラーコード)、アクセラレーターの障害。
- ネットワーク:EFA(Elastic Fabric Adapter、ノード間通信用のネットワークインターフェース)のスループット低下、パケットロス、再送。
- スロットリング:熱、ボード、信頼性の制限によるGPUクロックの低下。
- 過熱:GPU温度が設定した上限を超過。
AWSによれば、検出された各問題には、影響を受けるジョブ、クラスター、ノード、アクセラレーター、rank(分散学習における各プロセスの番号)が表示され、原因箇所をすぐに特定できます。
デフォルトと高度なメトリクス、CloudWatchとPrometheusの違い
| 項目 | 内容 | 備考 |
|---|---|---|
| デフォルトメトリクス | クラスターの健全性、CPU/ディスク/OS、GPU使用率と温度、ジョブごとのリソース使用率 | 自動で有効化。30秒ごとに収集。CPU約1〜2%、メモリ250〜300MB |
| 高度なメトリクス | 完全なnode exporter(ホストレベルのメトリクス)、NVIDIA DCGM(GPU監視)とAWS Neuronのメトリクス、EFAネットワークメトリクス | 任意で有効化。テレメトリ量が増え、コストに影響 |
| Amazon CloudWatch | AWSマネジメントコンソールのCloudWatch SageMaker Insightsで確認 | 新しいデフォルト。AWSはManaged Service for Prometheusより低価格としている |
| Amazon Managed Service for Prometheus | PrometheusとGrafanaを標準とするチーム向け | 従来唯一サポートされていた選択肢 |
AWSの説明では、小規模クラスターで小さなジョブを実行する場合、高度なメトリクスはたいてい不要です。大規模クラスターでの長時間の学習では、時間とともに問題のパターンが現れるため、より価値が高いとしています。
対応クラスターと始め方
AWSの説明によると、この機能はEKSクラスターではアドオン(add-on)として、Slurmクラスターでは拡張機能(extension)として提供されるため、IAM(AWSのIDおよびアクセス管理)で誰がインストールや変更を行えるかを制御できます。インストールはコンソール、API、AWS CLIから行えます。AWSの記事に掲載されているコンソールでの手順は次のとおりです。
- SageMaker AIコンソールでHyperPod clustersを選び、Create HyperPod clusterを選択して、Orchestrated on Amazon EKSまたはOrchestrated by Slurmを選びます。
- Setup optionsでCustom setupを選び、名前を入力し、Instance recoveryでAutomaticを選んでSubmitします。
- HyperPod observabilityセクションで、Enable HyperPod Observabilityがオン(デフォルトでオン)になっていることを確認します。必要に応じて、高度なメトリクス、ログ、メトリクスの保存先(CloudWatchまたはPrometheus)、Grafanaワークスペースを選択します。
- クラスターの準備ができたら、クラスター詳細ページのObservabilityタブでメトリクスがストリーミングされていることを確認します。ここからCloudWatchダッシュボードを開けます。
AWSの記事には、aws eks create-addonやaws sagemaker create-cluster-extensionなどのCLI例も掲載されています。完全なコマンドとパラメーターは、元記事と開発者ガイドを参照してください。AWSはまた、Observabilityタブにノード数、アクセラレーター数、ジョブ数、GPU・vCPU・メモリの平均使用率が表示されると説明しています。CloudWatchダッシュボードには、診断サマリー、ハードウェア、ワークロード、ネットワークの各ビューもあります。
日常の学習運用への影響
AWSによれば、この機能により、数百から数千のGPUの中から問題のある1つのアクセラレーターを切り分けられます。原因がXIDエラー、ECCメモリエラー、熱によるスロットリングのいずれであっても、チームは探す作業ではなく修復に時間を使えるとしています。ダッシュボードでは、ハードウェアタブがデバイスレベルのビューを提供し、Active、Idle、Unhealthyの状態を表示します。ワークロードタブはネットワーク使用に異常のあるジョブを示します。ネットワークタブにはEFAの平均使用率、劣化ノード数、再送回数が表示されます。以上はAWSによる機能の説明であり、実際の効果はチームごとのクラスターやワークロードによって異なります。
よくある質問
この機能はプレビュー版ですか、それとも正式提供ですか?
AWSは、この機能が「本日提供開始」であり、SageMaker HyperPodが提供されるすべてのAWSリージョンで利用できると述べています。記事にプレビューやウェイトリストへの言及はありません。
高度なメトリクスは必ず有効にする必要がありますか?
いいえ。AWSによれば、高度なメトリクスは任意で有効化するもので、メトリクス保存先に送るテレメトリ量が増えるため、コストに影響します。小規模クラスターで小さなジョブを実行する多くの顧客には不要な場合がありますが、大規模クラスターでの長時間の学習ではより価値があります。
有効化した後で、収集するメトリクスを変更できますか?
はい。AWSによれば、どのメトリクスカテゴリーやプロファイリング機能も、いつでも有効化・無効化できます。EKSクラスターでは、AWS CLIでアドオン設定を更新するか、コンソールのアドオンカードでActions → Editを選びます。Slurmクラスターでは、クラスター詳細ページのExtensionsタブでActions → Editを選ぶか、AWS CLIで拡張機能を更新します。
この記事が役に立ったら、必要な方にシェアしてください
同じテーマの記事
Signal、AndroidとiOS 27でスクリーンショットを既定でブロック:SiriやGeminiなどAIエージェントの画面読み取りを阻止
The Vergeの報道によると、SignalはOSレベルのAIエージェントによるメッセージ内容の読み取りを防ぐため、AndroidとiOS 27でスクリーンショットを制限。設定で再開できるが、Signalはプライバシー保護が弱まると警告している。
Claude Code 2.1.329:Code ModeがOpenTelemetry有効時も利用可能に、/tasksにスケジュールタスク統合、macOS computer useの安全ルール強化
Kimi Code CLI v2.7.0にネイティブBedrockプロバイダーが追加:AWS認証情報チェーンでKimi K3.1 Pro Highspeedに接続
AWS、SageMaker推論の13新機能をまとめ:HyperPodのマネージドNVIDIA Dynamo、MIGによるGPU分割、リージョン間ルーティング
出典
上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。