AWS SageMaker HyperPod Inference が NVIDIA Dynamo に対応:マルチノード、prefill/decode 分離、Qwen3-235B ベンチマークでスループット 2.05 倍
AWS は Amazon SageMaker HyperPod Inference が NVIDIA Dynamo に対応したと発表しました。マルチノード展開、prefill と decode の分離、KV 対応ルーティングを提供します。AWS の記事に基づき、仕組み、ベンチマーク、制約を整理します。
ニュース日: 読了目安 10 分
AWS は公式ブログで、Amazon SageMaker HyperPod Inference が NVIDIA Dynamo に対応したと発表しました。対象は、単一インスタンスの GPU メモリに収まらない大規模言語モデルのデプロイです。記事にはプレビューやベータ、リージョン制限についての記載はありません。 用語を簡単に説明します。prefill は、モデルがプロンプトを読み込んで処理する段階です。decode は、回答のトークンを順に生成する段階です。KV cache は、プロンプト処理で生じ、後で再利用できる一時データです。KV 対応ルーティングは、再利用できるプロンプト先頭部分のキャッシュと、各 worker(モデルを実行する処理単位)の負荷を参照してリクエストを振り分けます。 大規模モデルの推論を自前で運用するチームにとっての要点は、prefill と decode を分離してノードをまたいで展開する作業を、マネージドなアドオンに任せられることです。
今回の更新は何を解決するのか?従来との違い
AWS は 2 つの課題を挙げています。1 つは、GLM-5.3 の FP8 重みが単一の ml.p5.48xlarge インスタンスの GPU メモリ 640 GB を超えることです(KV cache と実行時オーバーヘッドを含めない段階で)。もう 1 つは、長いプロンプトとトークン生成が同じ GPU を共有すると生成速度が落ちることです。 AWS によると、Dynamo はオープンソースの分散推論フレームワークです。マルチノード展開、prefill と decode の分離、KV 対応ルーティングに対応し、vLLM、SGLang、TensorRT-LLM と組み合わせて使えます。
AWS の説明では、HyperPod アドオンは Dynamo のカスタムリソース定義に加えて、次のコンポーネントをインストールします。HyperPod Inference Operator、Dynamo operator、Grove、Kubernetes AI(KAI)Scheduler です。 Grove は、関連する pod のグループを調整します。KAI Scheduler は gang scheduling を使い、マルチノード worker に必要な pod をまとめて同時にスケジュールします。Dynamo のランタイムは AWS Deep Learning Containers で提供されます。新しい Dynamo を使うにはアドオンの更新が必要です。
AWS によると、分離型アーキテクチャではフロントエンドがリクエストを 2 種類の worker に振り分けます。プロンプトを処理する prefill worker と、トークンを生成する decode worker です。2 つのグループは独立してスケールや調整ができます。どちらも完全なモデル重みを読み込み、KV cache は EFA(Elastic Fabric Adapter、AWS の高性能ネットワーク)経由で受け渡されます。 Dynamo は、prefill と decode を同じ worker で行う集約型の提供にも対応しています。
どのデプロイ方法に対応しているか?
AWS は 2 つの経路を用意しています。 1 つ目は、独自の DynamoGraphDeployment(DGD)を使う方法です。上流のドキュメントやマニフェストを使い続けたい、既存の Dynamo ユーザー向けです。 2 つ目は、dynamoSpec を含む InferenceEndpointConfig を使う方法です。HyperPod Inference の設定形式や OpenAI 互換インターフェースに慣れたユーザー向けです。エンジンは vLLM、SGLang、TensorRT-LLM から選べ、デフォルトは vLLM です。 どちらの経路も、単一インスタンスとマルチノードの両方に対応します。
| 項目 | 独自 DGD | IEC + dynamoSpec |
|---|---|---|
| 自分で書くもの | 完全な DGD マニフェスト | dynamoSpec を含む IEC |
| 向いている対象 | サービスグラフを直接制御したい、または既存の DGD を再利用したいチーム | IEC でエンドポイントをマネージドに設定したいチーム |
| モデル重み | ダウンロードやマウントを自分で設定 | Operator が Amazon S3 または Amazon FSx からステージング |
| エンドポイント、TLS、登録 | 自分で設定・管理 | HyperPod Inference Operator が管理 |
| オートスケール | 自分で設定・管理 | autoScalingSpec 経由で KEDA(Kubernetes Event-driven Autoscaling)を使用(集約型・分離型とも可) |
AWS のベンチマークは何を示しているか?
1 つ目のテストでは、AIPerf を使って Qwen3-235B-A22B-FP8 の集約型と分離型の提供を比較しました。環境は 2 台の p5en.48xlarge(H200 16 基)で、Dynamo と TensorRT-LLM を使っています。リクエストは入力 4,000 トークン、出力 200 トークンです。 測定点は、次の 2 条件を満たすものだけを残しています。P90 の最初のトークンまでの時間が 1 秒未満であること、そしてユーザーあたりの生成速度の中央値が 50 トークン/秒以上であることです。 AWS によると、これらの点の中で、分離型は集約型の最大スループットの 2.05 倍に達しました。GPU あたりの出力トークンは毎秒 207 対 101 で、同時実行数はそれぞれ 80 と 32 です。
2 つ目のテストは Qwen3.5-397B-A17B-FP8 が対象です。Dynamo と vLLM を使い、TP4 × PP2(テンソル並列 4 とパイプライン並列 2 を組み合わせたモデル分割)で、有効な H200 8 基を使いました。比較したのは、単一の p5en.48xlarge 上の 8 GPU と、各 4 GPU の 2 台構成です。 プレフィックス再利用の多いエージェント型ワークロードで、同時実行数 32 のとき、2 ノード構成は GPU あたり 126.4 出力トークン/秒でした。これは単一ノードのスループットの 99.1% にあたります。 なお AWS は、このモデルは本来単一インスタンスに収まるもので、ここでは比較用の基準として使っていると説明しています。
実際のデプロイ手順とベストプラクティスは?
AWS は、ml.p5.48xlarge 上で GLM-5.3 と vLLM を使う例を示しています。 集約型の例の構成は次のとおりです。 ・1 つの model-worker レプリカを 2 インスタンス(GPU 16 基)にまたがらせる ・フロントエンドは 2 レプリカ ・frontend.routingMode を kv-aware に設定して、KV 対応ルーティングを有効にする 分離型の例は、prefill 1 レプリカと decode 2 レプリカの構成です。それぞれが 2 インスタンスにまたがるため、合計 6 インスタンスになります。 完全なマニフェストは kubectl apply で適用します。エンドポイントの準備ができたら、SageMaker Runtime API で OpenAI 互換リクエストを送れます。具体的なマニフェストと設定手順は、AWS の記事とリンク先のリポジトリを参照してください。
- モデル、推論エンジン、GPU タイプに合った Dynamo recipe を選ぶ。worker の規模を見積もる際は、重み、KV cache、実行時メモリをすべて含める。
- インスタンスをまたいで展開する場合は、まず通信が想定どおり EFA を使っているかを確認する。prefill と decode の間の KV cache 転送も確認の対象に含める。
- AIPerf で自分のトラフィックを再生し、同時実行数を段階的に変えて測定する。SLA(サービス水準の目標)を満たす点だけを残し、コストとレイテンシのバランスで選ぶ。
- 実測したボトルネックに基づいて調整する。順序は、まずトポロジーと worker 配置、次にエンジン設定とし、一度に 1 つの変数だけを変える。
よくある質問
prefill/decode 分離はどんな場合に向いていますか?
AWS は、長いプロンプトとトークン生成が同じ GPU を共有すると生成速度が落ちると指摘しています。分離型では、2 つの worker グループを独立してスケール・調整できます。ただし効果があるかどうかは、自分のトラフィックで実測して確かめる必要があります。AWS の 2.05 倍は、特定条件下での結果にすぎません。
すでに Dynamo のマニフェストがあるチームは、そのまま使えますか?
AWS によると、独自 DGD の経路を使えば、上流のドキュメント、recipe、マニフェストを引き続き利用できます。その際は、対応するコンテナイメージを使い、クラスターのストレージ、ネットワーク、pod 配置を設定する必要があります。
ノードが故障した場合はどうなりますか?
AWS によると、HyperPod がノード、GPU、EFA の健全性を監視し、故障したノードを交換します。そのうえで、オーケストレーション用のコンポーネントが影響を受けた worker を再作成します。
Dynamo のバージョンはどう更新しますか?
AWS によると、統合されたコンポーネントのバージョンはアドオンが管理しています。対応する Dynamo バージョンを使うには、アドオンを更新するだけで済みます。
同じテーマの記事
ShorticalがAIミニドラマ『Inevitable』で実在俳優の顔を初使用、一般向け「顔のライセンス」募集は署名済み契約ゼロ
TechCrunchによると、ミニドラマ新興企業のShorticalは俳優Aki Avniと契約し、その顔を使った全編AIのミニドラマを制作。一般向けの顔ライセンス制度はまだ初期段階で、署名済みの契約はなく、報酬額も非公開です。
Chess.com「Classic Games」公開ベータ開始:定番ゲーム10種を追加、Web・iOS・Androidに対応
Claude Code 2.1.330:Enterprise Admin Consoleへのログイン、easelグラフモジュール、スケジュールタスクが最長30日に
AWS Quick アップデート:チャットでのフロー作成、マルチエージェント連携、Meta ads・Amplitude コネクタを追加。AWS によると全提供リージョンで即日利用可能
出典
上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。