AWSがNVIDIA Nemotron 3.5 Super VLを提供開始：SageMaker JumpStartで画像・動画を理解するAIモデルをデプロイ可能に

何が起きたのか

AWSは、NVIDIA Nemotron 3.5 Super VLがAmazon SageMaker JumpStartで利用可能になったと発表しました。JumpStartは、AWSの機械学習サービスSageMakerにある事前学習済みモデルのカタログです。このモデルはSageMaker Studioからデプロイでき、数行のSageMaker Python SDKコードでもデプロイできます。

AWSによると、Super VLはNVIDIA Nemotron 3.5シリーズの視覚言語モデル、つまり画像とテキストを同時に理解できるAIモデルです。画像、動画、テキストを入力として受け取り、テキストを生成します。

モデルはMixture of Experts（MoE）アーキテクチャを採用しています。多数の「エキスパート」サブネットワークで構成され、一度に一部だけが有効になります。総パラメータ数は120Bで、トークンごとに有効になるのは12Bです。視覚エンコーダーにはC-RADIOを組み合わせています。トークンとは、モデルがテキストを処理する基本単位です。

コンテキストは最大100万トークン、つまり一度に処理できる内容量に対応します。複数トークンを一度に予測して生成を高速化するMulti-Token Prediction（MTP）ヘッドも内蔵しています。推論モード（モデルが段階的に考えてから回答する方式）は、リクエストごとにオン・オフを切り替えられます。

AWSによると、NVIDIAはこのモデルを4種類の用途向けに設計しました。文書インテリジェンス、コンピューター操作エージェントに必要なGUI理解、動画への質問応答、マルチモーダルエージェント用途です。ここでのコンピューター操作エージェントとは、ソフトウェアを自動で操作するAIプログラムを指します。AWSは、対応言語として英語、フランス語、ドイツ語、イタリア語、日本語、スペイン語、中国語を挙げ、ライセンスはOpenMDW License Agreement 1.1版としています。

2つのバージョンの比較

AWSによると、JumpStartには2つのバージョンがあります。BF16は全精度のリファレンス重みで、モデルの数値を16ビット形式で保存し、その後のカスタム学習に使えます。NVFP4はBF16から「量子化対応蒸留」で作られたバージョンです。量子化とは数値の精度を下げてモデルを小さくすることで、NVFP4は4ビットの重みと活性化値で動作し、推論の最適化を主眼としています。

品質ベンチマークと制約

AWSはNVIDIAのモデルカードを引用し、NVFP4はMMLongBench-DocベンチマークでBF16と同じ62.82であり、他のマルチモーダルベンチマークでも両者の差は約1ポイント以内だとしています。各スコア（BF16とNVFP4）は次のとおりです。OCRBench v2英語は68.12と68.34、CharXiv推論は80.82と79.88、Video-MME v2は32.85と32.54、OSWorld-Verifiedは51.14と52.30です。

制約として、AWSは、モデルが受け付けるのは生のPDFではなく画像であり、ページを事前に画像へ変換する必要があると説明しています。1,536 x 1,024のページは約1,536トークン分のコンテキストを占めます。JumpStartの設定では、1リクエストにつき画像1枚と動画1本のみ受け付け、サービングのコンテキストは520〜15,600トークンです。

チェックポイントにはMTPヘッドが含まれますが、JumpStartの設定では投機的デコーディング（MTPで出力を高速化する手法）は有効になっていません。エンドポイント、つまりデプロイ後にリクエストを受け付けるサービスのURLは、ベース重みのみを提供し、LoRAアダプターは読み込みません。LoRAは軽量なファインチューニング用の追加モジュールです。

AWSはさらに、エンドポイントはネットワーク分離下で動作し、自らURLを取得できないため、画像と動画はbase64データURLの形でリクエストに直接埋め込んで送る必要があると指摘しています。

一般読者と企業にとっての意味

すでにAWSを利用しているチームにとっては、画像や動画を読み取れる大規模モデルをマネージドサービスで試せるようになったことを意味します。請求書の抽出、グラフや長文書の理解などの場面が想定されます。これはAWSの発表内容であり、実際の効果は自社データで検証する必要があります。

AWSは、デプロイに2つの条件が必要だと注意しています。SageMaker AIエンドポイントを作成できる権限を持つAWSアカウントと、十分なインスタンスクォータです。新規アカウントのml.g7クォータはゼロから始まるため、まずService Quotasで引き上げを申請する必要があります。ml.g7.24xlargeでのデプロイには約10分かかります。AWSは、使用後は継続課金を避けるため、エンドポイント、エンドポイント設定、モデルを削除することを勧めています。

このトピックの最新ニュースを見る

• AIニュース