Amazon SageMaker AI、vLLM GPU推論エンドポイントを既定で監視:レイテンシのドリフト、遊休GPU、未適用の最適化を検出

AWSは、vLLMコンテナとGPUインスタンスを使う生成AI推論エンドポイントをSageMaker AIが既定で監視すると発表。レイテンシ、遊休容量、設定の問題をAWS Healthで通知し、本番環境を自動で変更することはありません。

ニュース日: 読了目安 10 分

LINEで送る
目次
  1. 1. 今回、何が変わるのか?
  2. 2. どのエンドポイントが対象で、通知を受けたらどうするか?
  3. 3. 導入前に注意すべき制限と費用は?
  4. 4. よくある質問

AWSは公式ブログで、SageMaker AIが生成AI推論エンドポイントを自動的に監視し、パフォーマンスの改善やコスト削減の余地がある場合に通知すると発表しました。推論エンドポイントとは、モデルをデプロイしてアプリケーションから呼び出せるようにしたサービスのことです。AWSによれば、この監視は対象のエンドポイントで既定で有効になり、申請や設定は不要です。対象は、vLLMサービングコンテナ(モデルサービングエンジンの一種)とGPUインスタンスを使うエンドポイントです。通知はAWSリージョンごとに表示されます。運用チームにとっては、エンドポイントが障害を起こしていなくても、レイテンシがいつの間にか悪化したり、GPUが無駄に遊休したりすることがあります。この機能は、そうした状況への継続的なリマインダーとして機能します。

今回、何が変わるのか?

AWSは、エンドポイントは稼働開始時にはよくチューニングされているものの、トラフィックパターン、プロンプト長、vLLMのバージョン、モデルのチェックポイントは時間とともに変化し、アラートがないためその変化が見過ごされやすいと指摘しています。新機能は「Generative AI optimized inference recommendations」を通じてエンドポイントを継続的に観察し、推奨を提示します。SageMaker Studioのagentic体験(対話形式で後続の手順を支援するAIアシスタントのインターフェース)と連携します。AWSはこの流れを、観察、通知、推奨(オプトイン)、判断の4ステップに分けています。

検出範囲として、AWSは3種類の検出を挙げています。1つ目はレイテンシドリフトで、p50(中央値)のエンドツーエンドレイテンシ、または最初のトークンまでの時間が前週比で上昇するケースです。最初のトークンまでの時間とは、モデルが応答の最初の部分を出力し始めるまでの待ち時間を指します。2つ目は未使用容量、つまり料金を払っているのにほとんど遊休しているGPUです。3つ目は設定のギャップで、コンテナに新しい性能改善やセキュリティパッチがない場合や、モデルは対応しているのにエンドポイントで使われていない最適化がある場合です。例として、投機的デコーディング(応答を高速化する技術)やGPUカーネルのチューニングがあります。AWSはまた、レイテンシの比較はエンドポイント自身の履歴を基準とするため、事前にしきい値を設定する必要はないとしています。

AWSが挙げる検出タイプ、トリガー条件、ベンチマーク内容(テンソル並列とは、モデルを複数のGPUに分散して一緒に演算する設定)
検出タイプトリガー条件(AWSの説明)ベンチマークで比較する内容
レイテンシドリフト応答時間がエンドポイントの前週比トレンドから変動テンソル並列の設定、別のインスタンスタイプやサイズ
GPU使用率の不足観察期間中、GPU使用率が容量を大きく下回る観察されたピークトラフィックでの、より安価または小型のインスタンスのテスト
投機的デコーディング未有効化モデルとコンテナは対応しているが機能がオフ現在の設定と、投機的デコーディングを有効にした設定の比較
サービングコンテナ性能改善と、重大・高リスクのCVE(公開されているセキュリティ脆弱性)の修正を含む新バージョンがある現在のコンテナと更新後のコンテナの比較
GPUカーネル未チューニングカーネル設定がモデルとハードウェアに合わせてチューニングされていないデフォルトカーネルとチューニング済みカーネルの比較

どのエンドポイントが対象で、通知を受けたらどうするか?

AWSによると、監視はvLLMサービングコンテナとGPUインスタンスを使うエンドポイントで既定で有効です。各エンドポイントには、すべての検出事項をまとめた通知が1通だけ届き、同時に届くのは最大1通で、アカウントが同時に受け取る件数にも上限があります。通知はAWS Healthコンソールに表示され、メールでも送信されます。内容には、エンドポイント、観察結果、重要度、推奨アクションが含まれます。

対応する場合は、ワンクリックでSageMaker Studioのagentic体験を開けます。エンドポイントと直近のトラフィックがあらかじめ入力されています。AWSの説明では、エージェントはまず検出事項を平易な言葉で要約し、続行するか確認します。確認後、SageMaker Python SDKを使うノートブックを生成して推論レコメンデーションジョブを作成し、そのジョブに対応するAWS Healthイベントのタグを付けます。各ステップは独立したセルになっており、実行前に確認・編集できます。完了後は、応答時間、スループット、100万トークンあたりのコストを並べて比較できます。トークンとは、モデルがテキストを処理する基本単位です。

AWSは3つのシナリオを挙げています。1つ目は、検索を追加したことでプロンプトが長くなり、最初のトークンが遅くなったチャットアシスタント。2つ目は、投機的デコーディングを有効にしていないコード補完モデル。3つ目は、想定より小さい規模で稼働し、GPUの大半が遊休している要約エンドポイントです。AWSのサンプルスクリーンショットでは、レイテンシイベントで最初のトークンまでの時間の中央値が前週比で約200ミリ秒増加しています。未使用容量イベントでは、最も稼働しているGPUでも大半の時間、使用率が12%を超えていません。

導入前に注意すべき制限と費用は?

AWSは、監視自体に追加のGPUコストはないとしています。ただしベンチマークは通常のSageMaker AI料金で課金されるか、ユーザーが既に持つ機械学習用の予約容量を使います。ベンチマークを実行して変更を任意で適用するには、AWS HealthおよびAWS User Notificationsコンソールへのアクセス権、SageMaker Studioドメイン、推論レコメンデーションジョブの実行とエンドポイントの更新を行うIAM権限、十分なサービスクォータが必要です。

プライバシーについて、AWSは、監視が読み取るのはエンドポイントレベルで集計されたレイテンシと容量のテレメトリであり、リクエストやレスポンスの内容は読み取らないとしています。監視を望まない場合、AWSの説明では、CreateModelの呼び出し時にOPT_OUT_TRACKING環境変数を設定します。値は任意です。設定場所は、EnvironmentマップのPrimaryContainer、またはモデル内の他のコンテナです。設定後、SageMaker AIはそのエンドポイントのエンジンメトリクス、GPUメトリクス、起動設定情報を収集せず、通知も送信しません。

よくある質問

この監視は、プロンプトやモデルの応答を読み取りますか?

AWSは読み取らないとしています。見るのはレイテンシ、GPU使用率、エンドポイントのサービング設定などの運用シグナルで、読み取るのはエンドポイントレベルで集計されたテレメトリです。

推奨を受けると、本番エンドポイントは自動的に変更されますか?

いいえ。AWSによると、ベンチマークは別のコンピューティングリソースで実行され、ユーザーが結果の適用を選ぶまでエンドポイントは変更されません。対応しない、または検出事項を却下することもできます。

監視とベンチマークは有料ですか?

AWSは、監視に追加のGPUコストはないとしています。ベンチマークは標準のSageMaker AI料金、またはユーザーの機械学習用予約容量が使われます。具体的な価格は情報源に記載されていません。

特定のエンドポイントを監視対象から外すには?

AWSの説明では、CreateModelのEnvironmentでコンテナにOPT_OUT_TRACKING環境変数を設定します。値は任意です。以降、そのエンドポイントではテレメトリが収集されず、通知も届きません。

通知はどこで確認できますか?

AWSの説明では、通知はAWS Healthに表示されメールでも送信され、リージョンごとに表示されます。そのエンドポイントの検出事項を見るには、エンドポイントのあるリージョンでサインインする必要があります。受信方法はAWS User Notificationsコンソールで管理できます。

このトピックの最新ニュースを見る

この記事が役に立ったら、必要な方にシェアしてください

LINEで送る

出典

上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。

ライフスタイル