AWS、SageMaker推論の13新機能をまとめ:HyperPodのマネージドNVIDIA Dynamo、MIGによるGPU分割、リージョン間ルーティング

AWSは11月20日、SageMaker推論の2026年振り返り第2部を公開。推論レコメンデーション、GPU分割、大規模モデル提供、リージョン間ルーティング、モニタリングなど、運用段階の13機能をまとめた。

ニュース日: 読了目安 9 分

LINEで送る
目次
  1. 1. 今回の更新で何が変わるのか?
  2. 2. 各機能の時期・範囲・制約は?
  3. 3. 日常の推論ワークフローにどう影響するか?
  4. 4. 始めるにはAWSは何を勧めているか?

AWSは公式ブログで「Amazon SageMaker Inference: 2026 launches in review, part 2」を公開した。第1部の13機能に続き、2026年7月から11月にかけての推論の新機能を14番から26番まで紹介している。AWSは本文中で各機能がプレビューか一般提供かを個別には示しておらず、リージョンや条件についてはAWSのドキュメントを参照されたい。生成AIサービスを運用するチームにとっての要点は、リリース後に設定をどう調整し、GPU利用率を高め、レイテンシーを下げるかにある。以下の機能説明と性能値はいずれもAWSによるものだ。

今回の更新で何が変わるのか?

AWSは架空のカスタマーサポートアシスタントのチームを例に、設定の選択、より多くのモデルでのGPU共有、単一インスタンスに収まらないモデルの提供、適切なGPUへのリクエスト振り分け、リリース後の継続的なチューニングという5つの段階に沿って機能を紹介している。

  • 推論レコメンデーション:AWSによると、4月のAPIに加え、SageMaker AI Studio(7月)、Python SDK v3 3.17.0以降(8月)、LoRAアダプターのサポートとSLAに基づく同時実行数探索(9月)が追加された。LoRAアダプターは、同じベースモデルを用途別に特化させるための追加モジュールである。
  • コーディングエージェント向けスキル:aws-ai-mlスキルはAgent Toolkit for AWSを通じて提供される。AWSによればセットアップに約10分かかり、出力はレビュー可能なSDK v3コードとなる。
  • GPU活用:コンソールでInference Components(同一エンドポイント上で複数モデルを個別にデプロイ・スケールする仕組み)を管理でき、NVIDIA MIGで1基のGPUを最大7つのパーティションに分割できる。
  • 大規模モデル:HyperPodはマネージドNVIDIA Dynamoを提供する。マルチノード分割サービング(1つのモデルを複数ノードにまたがって提供)と、プリフィル/デコード分離(プロンプト処理とテキスト生成を別々のGPUで実行)に対応する。

各機能の時期・範囲・制約は?

AWSの第2部振り返りに含まれる機能の一部比較(出典:AWS公式ブログ)
機能AWS表記の時期範囲・制約(AWSの説明による)
Studioの推論レコメンデーション2026年7月Jobs > Inference optimization。Studioからリアルタイムエンドポイントへデプロイ可能
Python SDK v3の推論レコメンデーション2026年8月3.17.0以降。LMIとvLLMを並行比較可能
LoRAサポートとSLA同時実行数探索2026年9月search_recipeにmax-concurrency-under-slaを指定
Inference Componentsコンソール2026年10月作成、スケール(ゼロまで縮小可能)、モニタリングが可能
NVIDIA MIG分割2026年10月最大7パーティション。課金はインスタンス全体の時間単位のまま
マネージドNVIDIA Dynamo2026年11月HyperPodが利用可能なリージョン。vLLM、SGLang、TensorRT-LLM
KVキャッシュ対応ルーティング2026年11月初回リリースはAWS検証済みのモデルコンテナが必要
HyperPod Inference Gateway2026年9月P99 TTFTを最大97%/98%短縮(ラウンドロビン比)
リージョン間推論ルーティング本文に月の記載なし容量の追加やモデルの複製は行わない。オーバーフロー上限とリージョン制限を設定可能
継続的なパフォーマンスモニタリング2026年11月デフォルトで有効、オプトアウト可能。リクエストやレスポンスは読み取らない
インプレース・ローリングアップデート2026年11月自動適用。20インスタンス・バッチ2で新規取得は2台

日常の推論ワークフローにどう影響するか?

AWSによると、エンジニアはコンソールに頼らず、ノートブック、CIパイプライン、コーディングエージェントからベンチマークを開始し、ランク付けされた推奨を得られる。同時実行数とは、エンドポイントが同時に処理するリクエスト数のことだ。SLAに基づく同時実行数探索は、レイテンシーとエラー率の目標を満たす最大の同時実行数を見つけ出す。これまで手動で繰り返していたテストは不要になる。

ルーティングについて、AWSはHyperPodではクラスターごとにOpenAI互換の単一エンドポイントで全モデルを提供できると説明している。Gatewayは、順番に割り当てるラウンドロビンではなく、各podのリアルタイムの状態に基づいて送信先を選ぶ。通常のエンドポイントでのKVキャッシュ対応ルーティングは、最も長い共通プロンプトプレフィックスのキャッシュを保持するインスタンスへリクエストを送る。KVキャッシュとは、モデルがプロンプトを処理した後に残る再利用可能な中間結果である。リージョン間ルーティングはAWS PrivateLinkで接続され、リクエストを処理できるリージョンを制限することもできる。継続的モニタリングはレイテンシーのドリフト、設定のずれ、アイドル状態のGPUを検出し、Studioでガイド付きの修正を開く。ただし、ユーザーが適用するまで変更はデプロイされない。

始めるにはAWSは何を勧めているか?

AWSは、現在の課題に合う部分から始めることを勧めている。トラフィックが変わったなら推論レコメンデーションを再実行する。配置の空きが足りないなら、小さなモデルを分割したGPUに移す。リクエストが滞留しているのに自社の容量が余っているなら、リージョン間ルーティング用にクラスターとエンドポイントを登録する。各機能のドキュメントと入門ガイドはAmazon SageMaker AI Developer Guideにある。また、すでにHyperPod Inferenceを使っているチームは、アドオンを更新し、既存のInferenceEndpointConfigに短いdynamoSpecブロックを追加すればよいとAWSは説明している。

よくある質問

マネージドDynamoはどのリージョンで使えますか?

AWSによると、Amazon SageMaker HyperPodが提供されているリージョンで利用できる。特定の国や地域についての詳細は本文に記載されていない。

MIGで1時間あたりの料金は安くなりますか?

いいえ。AWSによれば、課金はインスタンス全体の時間単位の標準料金のままである。節約は、インスタンスごとにより多くのモデルを配置できることから生まれる。

パフォーマンスモニタリングはリクエストの内容を読み取りますか?

AWSによると読み取らない。見るのはレイテンシー、GPU使用率、エンドポイントのサービング設定のみ。デフォルトで有効で、オプトアウトでき、いつでも無効にできる。

リージョン間推論ルーティングで容量不足は解決しますか?

AWSによると、ルーターは容量を追加せず、モデルを複製せず、エンドポイントもデプロイしない。すでにデプロイ済みのリージョンのエンドポイント間でトラフィックを振り分ける。

今後の予定は?

AWSは2027年初頭にインプレース・ローリングアップデートを拡張し、縮小先行型のアップデートを導入する計画だ。これにより、モデル更新時に追加インスタンスが一切不要になるという。

このトピックの最新ニュースを見る

この記事が役に立ったら、必要な方にシェアしてください

LINEで送る

出典

上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。

ライフスタイル