AWS 上架 NVIDIA Nemotron 3.5 Super VL：SageMaker JumpStart 用戶可部署能看圖、看影片的 AI 模型

發生了什麼事

AWS 宣布，NVIDIA Nemotron 3.5 Super VL 已在 Amazon SageMaker JumpStart 提供。JumpStart 是 AWS 機器學習服務 SageMaker 中的預訓練模型目錄。這個模型可在 SageMaker Studio 部署，也可用幾行 SageMaker Python SDK 程式碼部署。

根據 AWS，Super VL 是 NVIDIA Nemotron 3.5 系列中的視覺語言模型，也就是能同時理解圖像與文字的 AI 模型。它可接收圖像、影片與文字，並產生文字。

模型採用混合專家（MoE）架構：由許多「專家」子網路組成，每次只啟用其中一部分。總參數為 120B，每個 token 只啟用 12B，並搭配 C-RADIO 視覺編碼器。token 是模型處理文字的基本單位。

模型支援最長 100 萬 token 的上下文，也就是一次能處理的內容量。它還內建 Multi-Token Prediction（MTP）頭，這是可一次預測多個 token、用於加速生成的元件。推理模式（模型先逐步思考再作答）可依每次請求開關。

AWS 表示，NVIDIA 將它設計用於四類用途：文件智慧、電腦操作代理所需的 GUI 理解、影片問答，以及多模態代理應用。這裡的電腦操作代理，是指能自動操作軟體的 AI 程式。AWS 同時列出支援語言為英文、法文、德文、義大利文、日文、西班牙文與中文，授權為 OpenMDW License Agreement 1.1 版。

兩種版本比較

AWS 指出，JumpStart 提供兩個版本。BF16 是全精度參考權重，以 16 位元格式儲存模型數值，可用於後續的客製化訓練。NVFP4 則是從 BF16 經「量化感知蒸餾」產生的版本。量化就是降低數值精度來縮小模型，NVFP4 以 4 位元的權重與激活值執行，主打最佳化推理。

品質基準與限制

AWS 引述 NVIDIA 模型卡指出，NVFP4 在 MMLongBench-Doc 基準與 BF16 相同，皆為 62.82；在其他多模態基準上，兩者差距約一分以內。各項分數（BF16 與 NVFP4）如下：OCRBench v2 英文為 68.12 與 68.34；CharXiv 推理為 80.82 與 79.88；Video-MME v2 為 32.85 與 32.54；OSWorld-Verified 為 51.14 與 52.30。

限制方面，AWS 說明模型接受圖像而非原始 PDF，需先把頁面轉成圖像；一張 1,536 x 1,024 的頁面約佔 1,536 token 上下文。JumpStart 設定每次請求只接受一張圖像與一段影片，服務上下文為 520 至 15,600 token。

檢查點雖含 MTP 頭，但 JumpStart 設定未啟用推測式解碼，也就是利用 MTP 加速輸出的技巧。端點是部署後接收請求的服務網址，它只提供基礎權重，不載入 LoRA 適配器。LoRA 是一種輕量的微調附加模組。

AWS 另指出，端點在網路隔離下執行，無法自行擷取網址，因此圖像與影片必須以 base64 資料 URL 的形式直接內嵌在請求中傳送。

對一般讀者與企業的意義

對已使用 AWS 的團隊而言，這代表可在託管服務中試用能同時讀圖、看影片的大型模型，用於發票擷取、圖表與長文件理解等情境。這是 AWS 的發布說明，實際成效仍需依自身資料驗證。

AWS 提醒，部署需要兩項條件：可建立 SageMaker AI 端點的 AWS 帳戶權限，以及足夠的執行個體配額。新帳戶的 ml.g7 配額從零開始，需先透過 Service Quotas 申請提高。在 ml.g7.24xlarge 上部署約需 10 分鐘。AWS 並建議用完後刪除端點、端點設定與模型，以避免持續收費。

查看同分類最新消息

• AI 新聞與趨勢