AWS、SageMaker推論の13新機能をまとめ:HyperPodのマネージドNVIDIA Dynamo、MIGによるGPU分割、リージョン間ルーティング
AWSは11月20日、SageMaker推論の2026年振り返り第2部を公開。推論レコメンデーション、GPU分割、大規模モデル提供、リージョン間ルーティング、モニタリングなど、運用段階の13機能をまとめた。
ニュース日: 読了目安 9 分
AWSは公式ブログで「Amazon SageMaker Inference: 2026 launches in review, part 2」を公開した。第1部の13機能に続き、2026年7月から11月にかけての推論の新機能を14番から26番まで紹介している。AWSは本文中で各機能がプレビューか一般提供かを個別には示しておらず、リージョンや条件についてはAWSのドキュメントを参照されたい。生成AIサービスを運用するチームにとっての要点は、リリース後に設定をどう調整し、GPU利用率を高め、レイテンシーを下げるかにある。以下の機能説明と性能値はいずれもAWSによるものだ。
今回の更新で何が変わるのか?
AWSは架空のカスタマーサポートアシスタントのチームを例に、設定の選択、より多くのモデルでのGPU共有、単一インスタンスに収まらないモデルの提供、適切なGPUへのリクエスト振り分け、リリース後の継続的なチューニングという5つの段階に沿って機能を紹介している。
- 推論レコメンデーション:AWSによると、4月のAPIに加え、SageMaker AI Studio(7月)、Python SDK v3 3.17.0以降(8月)、LoRAアダプターのサポートとSLAに基づく同時実行数探索(9月)が追加された。LoRAアダプターは、同じベースモデルを用途別に特化させるための追加モジュールである。
- コーディングエージェント向けスキル:aws-ai-mlスキルはAgent Toolkit for AWSを通じて提供される。AWSによればセットアップに約10分かかり、出力はレビュー可能なSDK v3コードとなる。
- GPU活用:コンソールでInference Components(同一エンドポイント上で複数モデルを個別にデプロイ・スケールする仕組み)を管理でき、NVIDIA MIGで1基のGPUを最大7つのパーティションに分割できる。
- 大規模モデル:HyperPodはマネージドNVIDIA Dynamoを提供する。マルチノード分割サービング(1つのモデルを複数ノードにまたがって提供)と、プリフィル/デコード分離(プロンプト処理とテキスト生成を別々のGPUで実行)に対応する。
各機能の時期・範囲・制約は?
| 機能 | AWS表記の時期 | 範囲・制約(AWSの説明による) |
|---|---|---|
| Studioの推論レコメンデーション | 2026年7月 | Jobs > Inference optimization。Studioからリアルタイムエンドポイントへデプロイ可能 |
| Python SDK v3の推論レコメンデーション | 2026年8月 | 3.17.0以降。LMIとvLLMを並行比較可能 |
| LoRAサポートとSLA同時実行数探索 | 2026年9月 | search_recipeにmax-concurrency-under-slaを指定 |
| Inference Componentsコンソール | 2026年10月 | 作成、スケール(ゼロまで縮小可能)、モニタリングが可能 |
| NVIDIA MIG分割 | 2026年10月 | 最大7パーティション。課金はインスタンス全体の時間単位のまま |
| マネージドNVIDIA Dynamo | 2026年11月 | HyperPodが利用可能なリージョン。vLLM、SGLang、TensorRT-LLM |
| KVキャッシュ対応ルーティング | 2026年11月 | 初回リリースはAWS検証済みのモデルコンテナが必要 |
| HyperPod Inference Gateway | 2026年9月 | P99 TTFTを最大97%/98%短縮(ラウンドロビン比) |
| リージョン間推論ルーティング | 本文に月の記載なし | 容量の追加やモデルの複製は行わない。オーバーフロー上限とリージョン制限を設定可能 |
| 継続的なパフォーマンスモニタリング | 2026年11月 | デフォルトで有効、オプトアウト可能。リクエストやレスポンスは読み取らない |
| インプレース・ローリングアップデート | 2026年11月 | 自動適用。20インスタンス・バッチ2で新規取得は2台 |
日常の推論ワークフローにどう影響するか?
AWSによると、エンジニアはコンソールに頼らず、ノートブック、CIパイプライン、コーディングエージェントからベンチマークを開始し、ランク付けされた推奨を得られる。同時実行数とは、エンドポイントが同時に処理するリクエスト数のことだ。SLAに基づく同時実行数探索は、レイテンシーとエラー率の目標を満たす最大の同時実行数を見つけ出す。これまで手動で繰り返していたテストは不要になる。
ルーティングについて、AWSはHyperPodではクラスターごとにOpenAI互換の単一エンドポイントで全モデルを提供できると説明している。Gatewayは、順番に割り当てるラウンドロビンではなく、各podのリアルタイムの状態に基づいて送信先を選ぶ。通常のエンドポイントでのKVキャッシュ対応ルーティングは、最も長い共通プロンプトプレフィックスのキャッシュを保持するインスタンスへリクエストを送る。KVキャッシュとは、モデルがプロンプトを処理した後に残る再利用可能な中間結果である。リージョン間ルーティングはAWS PrivateLinkで接続され、リクエストを処理できるリージョンを制限することもできる。継続的モニタリングはレイテンシーのドリフト、設定のずれ、アイドル状態のGPUを検出し、Studioでガイド付きの修正を開く。ただし、ユーザーが適用するまで変更はデプロイされない。
始めるにはAWSは何を勧めているか?
AWSは、現在の課題に合う部分から始めることを勧めている。トラフィックが変わったなら推論レコメンデーションを再実行する。配置の空きが足りないなら、小さなモデルを分割したGPUに移す。リクエストが滞留しているのに自社の容量が余っているなら、リージョン間ルーティング用にクラスターとエンドポイントを登録する。各機能のドキュメントと入門ガイドはAmazon SageMaker AI Developer Guideにある。また、すでにHyperPod Inferenceを使っているチームは、アドオンを更新し、既存のInferenceEndpointConfigに短いdynamoSpecブロックを追加すればよいとAWSは説明している。
よくある質問
マネージドDynamoはどのリージョンで使えますか?
AWSによると、Amazon SageMaker HyperPodが提供されているリージョンで利用できる。特定の国や地域についての詳細は本文に記載されていない。
MIGで1時間あたりの料金は安くなりますか?
いいえ。AWSによれば、課金はインスタンス全体の時間単位の標準料金のままである。節約は、インスタンスごとにより多くのモデルを配置できることから生まれる。
パフォーマンスモニタリングはリクエストの内容を読み取りますか?
AWSによると読み取らない。見るのはレイテンシー、GPU使用率、エンドポイントのサービング設定のみ。デフォルトで有効で、オプトアウトでき、いつでも無効にできる。
リージョン間推論ルーティングで容量不足は解決しますか?
AWSによると、ルーターは容量を追加せず、モデルを複製せず、エンドポイントもデプロイしない。すでにデプロイ済みのリージョンのエンドポイント間でトラフィックを振り分ける。
今後の予定は?
AWSは2027年初頭にインプレース・ローリングアップデートを拡張し、縮小先行型のアップデートを導入する計画だ。これにより、モデル更新時に追加インスタンスが一切不要になるという。
この記事が役に立ったら、必要な方にシェアしてください
同じテーマの記事
Signal、AndroidとiOS 27でスクリーンショットを既定でブロック:SiriやGeminiなどAIエージェントの画面読み取りを阻止
The Vergeの報道によると、SignalはOSレベルのAIエージェントによるメッセージ内容の読み取りを防ぐため、AndroidとiOS 27でスクリーンショットを制限。設定で再開できるが、Signalはプライバシー保護が弱まると警告している。
Claude Code 2.1.329:Code ModeがOpenTelemetry有効時も利用可能に、/tasksにスケジュールタスク統合、macOS computer useの安全ルール強化
Kimi Code CLI v2.7.0にネイティブBedrockプロバイダーが追加:AWS認証情報チェーンでKimi K3.1 Pro Highspeedに接続
BMW Group、AIエージェントのガバナンス手法を公開:開発者1.25万人超、3段階の自律度とCI/CDの4段階ゲート
出典
上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。