AWSがSageMaker HyperPodに強化版オブザーバビリティを導入:CloudWatchでGPUの外れ値を特定、EKSとSlurmに対応し提供開始

AWSはSageMaker HyperPodに強化版オブザーバビリティを追加し、GPU学習の問題をより早く診断できるようにしました。EKSとSlurmのクラスターに対応し、HyperPodが提供されるすべてのAWSリージョンで利用可能です。

ニュース日: 読了目安 9 分

LINEで送る
目次
  1. 1. 今回何が追加され、従来と何が違うのか
  2. 2. デフォルトと高度なメトリクス、CloudWatchとPrometheusの違い
  3. 3. 対応クラスターと始め方
  4. 4. 日常の学習運用への影響

オブザーバビリティ(可観測性)とは、メトリクスやログを収集して、システムのどこに問題があるかを把握できる能力のことです。AWSはAmazon SageMaker HyperPod向けに強化版を導入しました。想定しているのは、大規模な分散GPU学習が突然遅くなる場面です。AWSによれば、原因がGPUのスロットリング、ネットワークリンクの飽和、ホスト上のデータパイプラインの停滞のどれなのかを判断するために、チームはログや分散したダッシュボードを何時間、時には何日も調べることが多いといいます。AWSの説明では、この機能はHyperPodが提供されるすべてのAWSリージョンで本日(「available today」)利用可能です。また、Amazon EKS(AWSのマネージドKubernetesサービス)とSlurm(クラスターのジョブスケジューラー)の両方のオーケストレーションに対応しています。

今回何が追加され、従来と何が違うのか

AWSによると、大規模モデルの学習はコストが高く、不健全なアクセラレーターが1つあるだけで分散ジョブ全体が足止めされることがあります。AWSは、従来HyperPodのインフラを観察するには複数の独立したツールをつなぎ合わせる必要があり、メトリクスからは性能低下が分かっても原因までは分からなかったと述べています。

診断サマリーは2つの手法を組み合わせています。1つ目はGPU外れ値検出です。AWSの説明では、CloudWatchのDetectGroupOutliers APIを使い、同一の学習ジョブ内でGPUごとの使用率、メモリ使用量、温度、消費電力、SMクロック(GPUの演算コアのクロック)を比較します。他のGPUから大きく外れた1枚は、外れ値カードとして表示されます。2つ目は静的な診断ルールで、既知の障害パターンに基づいて問題を次のように分類します。

  • ハードウェア:GPUのECCメモリエラー(メモリ誤り訂正機構が検出したエラー)、XIDエラー(NVIDIA GPUが報告するエラーコード)、アクセラレーターの障害。
  • ネットワーク:EFA(Elastic Fabric Adapter、ノード間通信用のネットワークインターフェース)のスループット低下、パケットロス、再送。
  • スロットリング:熱、ボード、信頼性の制限によるGPUクロックの低下。
  • 過熱:GPU温度が設定した上限を超過。

AWSによれば、検出された各問題には、影響を受けるジョブ、クラスター、ノード、アクセラレーター、rank(分散学習における各プロセスの番号)が表示され、原因箇所をすぐに特定できます。

デフォルトと高度なメトリクス、CloudWatchとPrometheusの違い

AWSの説明に基づくメトリクス階層と保存先オプションの整理
項目内容備考
デフォルトメトリクスクラスターの健全性、CPU/ディスク/OS、GPU使用率と温度、ジョブごとのリソース使用率自動で有効化。30秒ごとに収集。CPU約1〜2%、メモリ250〜300MB
高度なメトリクス完全なnode exporter(ホストレベルのメトリクス)、NVIDIA DCGM(GPU監視)とAWS Neuronのメトリクス、EFAネットワークメトリクス任意で有効化。テレメトリ量が増え、コストに影響
Amazon CloudWatchAWSマネジメントコンソールのCloudWatch SageMaker Insightsで確認新しいデフォルト。AWSはManaged Service for Prometheusより低価格としている
Amazon Managed Service for PrometheusPrometheusとGrafanaを標準とするチーム向け従来唯一サポートされていた選択肢

AWSの説明では、小規模クラスターで小さなジョブを実行する場合、高度なメトリクスはたいてい不要です。大規模クラスターでの長時間の学習では、時間とともに問題のパターンが現れるため、より価値が高いとしています。

対応クラスターと始め方

AWSの説明によると、この機能はEKSクラスターではアドオン(add-on)として、Slurmクラスターでは拡張機能(extension)として提供されるため、IAM(AWSのIDおよびアクセス管理)で誰がインストールや変更を行えるかを制御できます。インストールはコンソール、API、AWS CLIから行えます。AWSの記事に掲載されているコンソールでの手順は次のとおりです。

  1. SageMaker AIコンソールでHyperPod clustersを選び、Create HyperPod clusterを選択して、Orchestrated on Amazon EKSまたはOrchestrated by Slurmを選びます。
  2. Setup optionsでCustom setupを選び、名前を入力し、Instance recoveryでAutomaticを選んでSubmitします。
  3. HyperPod observabilityセクションで、Enable HyperPod Observabilityがオン(デフォルトでオン)になっていることを確認します。必要に応じて、高度なメトリクス、ログ、メトリクスの保存先(CloudWatchまたはPrometheus)、Grafanaワークスペースを選択します。
  4. クラスターの準備ができたら、クラスター詳細ページのObservabilityタブでメトリクスがストリーミングされていることを確認します。ここからCloudWatchダッシュボードを開けます。

AWSの記事には、aws eks create-addonやaws sagemaker create-cluster-extensionなどのCLI例も掲載されています。完全なコマンドとパラメーターは、元記事と開発者ガイドを参照してください。AWSはまた、Observabilityタブにノード数、アクセラレーター数、ジョブ数、GPU・vCPU・メモリの平均使用率が表示されると説明しています。CloudWatchダッシュボードには、診断サマリー、ハードウェア、ワークロード、ネットワークの各ビューもあります。

日常の学習運用への影響

AWSによれば、この機能により、数百から数千のGPUの中から問題のある1つのアクセラレーターを切り分けられます。原因がXIDエラー、ECCメモリエラー、熱によるスロットリングのいずれであっても、チームは探す作業ではなく修復に時間を使えるとしています。ダッシュボードでは、ハードウェアタブがデバイスレベルのビューを提供し、Active、Idle、Unhealthyの状態を表示します。ワークロードタブはネットワーク使用に異常のあるジョブを示します。ネットワークタブにはEFAの平均使用率、劣化ノード数、再送回数が表示されます。以上はAWSによる機能の説明であり、実際の効果はチームごとのクラスターやワークロードによって異なります。

よくある質問

この機能はプレビュー版ですか、それとも正式提供ですか?

AWSは、この機能が「本日提供開始」であり、SageMaker HyperPodが提供されるすべてのAWSリージョンで利用できると述べています。記事にプレビューやウェイトリストへの言及はありません。

高度なメトリクスは必ず有効にする必要がありますか?

いいえ。AWSによれば、高度なメトリクスは任意で有効化するもので、メトリクス保存先に送るテレメトリ量が増えるため、コストに影響します。小規模クラスターで小さなジョブを実行する多くの顧客には不要な場合がありますが、大規模クラスターでの長時間の学習ではより価値があります。

有効化した後で、収集するメトリクスを変更できますか?

はい。AWSによれば、どのメトリクスカテゴリーやプロファイリング機能も、いつでも有効化・無効化できます。EKSクラスターでは、AWS CLIでアドオン設定を更新するか、コンソールのアドオンカードでActions → Editを選びます。Slurmクラスターでは、クラスター詳細ページのExtensionsタブでActions → Editを選ぶか、AWS CLIで拡張機能を更新します。

このトピックの最新ニュースを見る

この記事が役に立ったら、必要な方にシェアしてください

LINEで送る

出典

上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。

ライフスタイル