NVIDIA 稱新款 AI 機櫃系統 Vera Rubin NVL72 首度參與 MLPerf 推論測試,吞吐量最高為 GB300 的 3.7 倍

NVIDIA 於 2026 年 9 月 16 日發文,稱其資料中心用的 AI 機櫃系統 Vera Rubin NVL72 首次參加 MLPerf Inference v6.1 測試,處理 AI 工作的速度最高為 GB300 NVL72 的 3.7 倍。本文整理 NVIDIA 公布的數據、測試條件與限制,並說明這對使用 AI 服務的一般讀者代表什麼。所有數據均為 NVIDIA 自身說法。

新聞日期: 閱讀時間約 6 分鐘

LINE 分享
目錄
  1. 1. NVIDIA 公布了什麼
  2. 2. NVIDIA 公布的主要數據比較
  3. 3. 效能從哪裡來:NVIDIA 的技術解釋
  4. 4. 其他提交與合作夥伴
  5. 5. 對一般讀者有什麼影響

NVIDIA 公布了什麼

根據 NVIDIA 官方部落格 2026 年 9 月 16 日的文章(作者 Zhihan Jiang),MLPerf Inference v6.1 結果於當日公布。MLPerf Inference 是一套衡量 AI 推論效能的基準測試;推論指的是 AI 服務回答問題、生成圖片或影片時實際執行的計算。NVIDIA 首次以預覽(preview)形式提交新一代 Vera Rubin NVL72 系統的成績,並表示這批提交涵蓋 DeepSeek-R1 與 Qwen3-VL 兩個 AI 模型的測試項目。

NVIDIA 稱,在 Qwen3-VL 的 offline、server 與 interactive 三種測試情境中,Vera Rubin NVL72 搭配 vLLM 與 NVIDIA Dynamo 開源推論框架,吞吐量最高為 GB300 NVL72 的 3.7 倍;在 DeepSeek-R1 上使用 TensorRT-LLM 函式庫,則最高為 2.5 倍。NVIDIA 註明這些數據屬於 MLPerf 的 Closed Division 組別,於 9 月 16 日自 mlcommons.org 取得。NVIDIA 另表示,合作夥伴 Nebius 也提交了 Vera Rubin NVL72 的預覽結果。

NVIDIA 公布的主要數據比較

資料來源:NVIDIA 官方部落格(2026 年 9 月 16 日),均為 NVIDIA 自述數據
項目系統NVIDIA 公布的數據備註
Qwen3-VL 吞吐量Vera Rubin NVL72 對比 GB300 NVL72最高 3.7 倍預覽提交;使用 vLLM 與 NVIDIA Dynamo
DeepSeek-R1 吞吐量Vera Rubin NVL72 對比 GB300 NVL72最高 2.5 倍預覽提交;使用 TensorRT-LLM
SemiAnalysis AgentXVera Rubin NVL72 對比 GB300 NVL7230 倍NVIDIA 稱為預覽測試,非 MLPerf 項目
多機櫃擴展效率GB300 NVL72,72 至 288 顆 GPU99%DeepSeek-R1,offline 情境
WAN 2.2 文字生成影片GB300 NVL72 對比單一節點每秒 0.65 支 720p 影片;吞吐量 9 倍、延遲低 7.5 倍每支影片 5.7 秒
軟體優化GB300 NVL72,v6.1 對比 v6.0最高 1.6 倍Qwen3-VL

效能從哪裡來:NVIDIA 的技術解釋

NVIDIA 將成績歸因於軟硬體協同設計。據其說法,Vera Rubin 增強的 Tensor Core 與 Transformer Engine 同時加速推論的 prefill(讀入提示)與 decode(逐字產生回覆)兩個階段,而 NVFP4 低精度格式則降低模型權重、attention 與 KV cache(推論過程中暫存的資料)的記憶體占用,NVIDIA 稱這能提高吞吐量,且輸出品質損失極小。

  • 分開處理兩個階段:NVIDIA 稱其提交大量採用分離式服務,把 prefill 與 decode 分開處理,並搭配大規模專家平行,以處理混合專家(MoE)架構的模型,例如 DeepSeek-R1 與 Qwen3-VL。
  • 機櫃內的高速連線:NVIDIA 稱第六代 NVLink 與 NVLink Switch 相較現成乙太網路有 10 倍封包速率與 3 倍更低延遲。
  • 軟體持續優化:NVIDIA 稱 GB300 NVL72 在 Qwen3-VL 上的提升來自較低的 KV cache 精度、更多 kernel(底層運算程式)融合、更佳的 kernel 與分離式服務。

其他提交與合作夥伴

NVIDIA 表示,它也以 TensorRT Edge-LLM 提交了邊緣裝置 Jetson AGX Thor 在新推出的 Edge-Agentic 基準(使用 Qwen3.6-27B)上的結果。NVIDIA 另稱共有 19 家合作夥伴參與,其中 8 家使用多節點 Blackwell NVL72 系統。參與夥伴包括 ASUS、Azure、Cisco、CoreWeave、Dell Technologies、HPE、Oracle Cloud Infrastructure 與 Supermicro 等。NVIDIA 也提到即將推出的 MLPerf Endpoints 基準,稱其將為 AI 代理(能分多個步驟推理、規劃並行動的 AI)類型的推論工作提供標準化量測。

背景方面,NVIDIA 在 2026 年 7 月 21 日的另一篇文章中稱,Vera Rubin NVL72 的產量正在逐步拉升,並已在 CoreWeave、Google Cloud、Microsoft Azure、Oracle Cloud Infrastructure 與 Nebius 等合作夥伴處運行。

對一般讀者有什麼影響

Vera Rubin NVL72 是整座機櫃等級的資料中心系統,並非個人電腦或手機零件,一般使用者不會直接接觸。它的意義在於後端:AI 服務回答問題、生成圖片或影片時的推論計算,就是在這類設備上執行。若 NVIDIA 所稱的吞吐量與擴展效率在實際部署中成立,雲端業者理論上能以同樣硬體服務更多使用者;但最終是否轉化為更快的回應或更低的服務價格,取決於各服務商的決策,NVIDIA 的文章並未說明。讀者也應記得,基準測試只反映特定模型與情境,實際應用表現可能不同。

常見問題

MLPerf Inference v6.1 是什麼?

它是一套衡量 AI 推論效能的基準測試。根據 NVIDIA 文章的註記,MLPerf 是 MLCommons Association 的名稱與商標,相關結果刊登於 mlcommons.org。NVIDIA 稱 v6.1 結果於 2026 年 9 月 16 日公布,並引用了其中 Closed Division 組別的成績。

3.7 倍代表所有 AI 工作都快 3.7 倍嗎?

不是。NVIDIA 稱 3.7 倍是 Qwen3-VL 基準上的「最高」數值;在 DeepSeek-R1 上,NVIDIA 公布的最高倍數是 2.5 倍。不同模型與情境結果不同。

這些成績經過獨立驗證了嗎?

本文的數據全部來自 NVIDIA 官方網站,屬於廠商自己的說法。NVIDIA 標示其引用數據取自 mlcommons.org,但同時承認提交截止後的 GPT-OSS-120B 與 DLRMv3 成績尚未經 MLCommons 驗證,而 Vera Rubin 結果屬預覽提交。

30 倍的數字從哪裡來?

NVIDIA 稱,在 SemiAnalysis AgentX 基準的預覽測試中,Vera Rubin NVL72 效能為 GB300 NVL72 的 30 倍。這並非 MLPerf 成績,NVIDIA 的文章也未詳細說明測試條件。

一般人現在需要做什麼嗎?

不需要。這是資料中心層級的硬體,本文不提供任何購買建議。一般使用者可把它視為 AI 雲端服務後端硬體演進的一個訊號,並以實際服務表現為準。

查看同分類最新消息

覺得這篇整理實用嗎?分享給需要的朋友

LINE 分享

資料來源

本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。

生活分享