NVIDIA 稱新款 AI 機櫃系統 Vera Rubin NVL72 首度參與 MLPerf 推論測試,吞吐量最高為 GB300 的 3.7 倍
NVIDIA 於 2026 年 9 月 16 日發文,稱其資料中心用的 AI 機櫃系統 Vera Rubin NVL72 首次參加 MLPerf Inference v6.1 測試,處理 AI 工作的速度最高為 GB300 NVL72 的 3.7 倍。本文整理 NVIDIA 公布的數據、測試條件與限制,並說明這對使用 AI 服務的一般讀者代表什麼。所有數據均為 NVIDIA 自身說法。
新聞日期: 閱讀時間約 6 分鐘
NVIDIA 公布了什麼
根據 NVIDIA 官方部落格 2026 年 9 月 16 日的文章(作者 Zhihan Jiang),MLPerf Inference v6.1 結果於當日公布。MLPerf Inference 是一套衡量 AI 推論效能的基準測試;推論指的是 AI 服務回答問題、生成圖片或影片時實際執行的計算。NVIDIA 首次以預覽(preview)形式提交新一代 Vera Rubin NVL72 系統的成績,並表示這批提交涵蓋 DeepSeek-R1 與 Qwen3-VL 兩個 AI 模型的測試項目。
NVIDIA 稱,在 Qwen3-VL 的 offline、server 與 interactive 三種測試情境中,Vera Rubin NVL72 搭配 vLLM 與 NVIDIA Dynamo 開源推論框架,吞吐量最高為 GB300 NVL72 的 3.7 倍;在 DeepSeek-R1 上使用 TensorRT-LLM 函式庫,則最高為 2.5 倍。NVIDIA 註明這些數據屬於 MLPerf 的 Closed Division 組別,於 9 月 16 日自 mlcommons.org 取得。NVIDIA 另表示,合作夥伴 Nebius 也提交了 Vera Rubin NVL72 的預覽結果。
NVIDIA 公布的主要數據比較
| 項目 | 系統 | NVIDIA 公布的數據 | 備註 |
|---|---|---|---|
| Qwen3-VL 吞吐量 | Vera Rubin NVL72 對比 GB300 NVL72 | 最高 3.7 倍 | 預覽提交;使用 vLLM 與 NVIDIA Dynamo |
| DeepSeek-R1 吞吐量 | Vera Rubin NVL72 對比 GB300 NVL72 | 最高 2.5 倍 | 預覽提交;使用 TensorRT-LLM |
| SemiAnalysis AgentX | Vera Rubin NVL72 對比 GB300 NVL72 | 30 倍 | NVIDIA 稱為預覽測試,非 MLPerf 項目 |
| 多機櫃擴展效率 | GB300 NVL72,72 至 288 顆 GPU | 99% | DeepSeek-R1,offline 情境 |
| WAN 2.2 文字生成影片 | GB300 NVL72 對比單一節點 | 每秒 0.65 支 720p 影片;吞吐量 9 倍、延遲低 7.5 倍 | 每支影片 5.7 秒 |
| 軟體優化 | GB300 NVL72,v6.1 對比 v6.0 | 最高 1.6 倍 | Qwen3-VL |
效能從哪裡來:NVIDIA 的技術解釋
NVIDIA 將成績歸因於軟硬體協同設計。據其說法,Vera Rubin 增強的 Tensor Core 與 Transformer Engine 同時加速推論的 prefill(讀入提示)與 decode(逐字產生回覆)兩個階段,而 NVFP4 低精度格式則降低模型權重、attention 與 KV cache(推論過程中暫存的資料)的記憶體占用,NVIDIA 稱這能提高吞吐量,且輸出品質損失極小。
- 分開處理兩個階段:NVIDIA 稱其提交大量採用分離式服務,把 prefill 與 decode 分開處理,並搭配大規模專家平行,以處理混合專家(MoE)架構的模型,例如 DeepSeek-R1 與 Qwen3-VL。
- 機櫃內的高速連線:NVIDIA 稱第六代 NVLink 與 NVLink Switch 相較現成乙太網路有 10 倍封包速率與 3 倍更低延遲。
- 軟體持續優化:NVIDIA 稱 GB300 NVL72 在 Qwen3-VL 上的提升來自較低的 KV cache 精度、更多 kernel(底層運算程式)融合、更佳的 kernel 與分離式服務。
其他提交與合作夥伴
NVIDIA 表示,它也以 TensorRT Edge-LLM 提交了邊緣裝置 Jetson AGX Thor 在新推出的 Edge-Agentic 基準(使用 Qwen3.6-27B)上的結果。NVIDIA 另稱共有 19 家合作夥伴參與,其中 8 家使用多節點 Blackwell NVL72 系統。參與夥伴包括 ASUS、Azure、Cisco、CoreWeave、Dell Technologies、HPE、Oracle Cloud Infrastructure 與 Supermicro 等。NVIDIA 也提到即將推出的 MLPerf Endpoints 基準,稱其將為 AI 代理(能分多個步驟推理、規劃並行動的 AI)類型的推論工作提供標準化量測。
背景方面,NVIDIA 在 2026 年 7 月 21 日的另一篇文章中稱,Vera Rubin NVL72 的產量正在逐步拉升,並已在 CoreWeave、Google Cloud、Microsoft Azure、Oracle Cloud Infrastructure 與 Nebius 等合作夥伴處運行。
對一般讀者有什麼影響
Vera Rubin NVL72 是整座機櫃等級的資料中心系統,並非個人電腦或手機零件,一般使用者不會直接接觸。它的意義在於後端:AI 服務回答問題、生成圖片或影片時的推論計算,就是在這類設備上執行。若 NVIDIA 所稱的吞吐量與擴展效率在實際部署中成立,雲端業者理論上能以同樣硬體服務更多使用者;但最終是否轉化為更快的回應或更低的服務價格,取決於各服務商的決策,NVIDIA 的文章並未說明。讀者也應記得,基準測試只反映特定模型與情境,實際應用表現可能不同。
常見問題
MLPerf Inference v6.1 是什麼?
它是一套衡量 AI 推論效能的基準測試。根據 NVIDIA 文章的註記,MLPerf 是 MLCommons Association 的名稱與商標,相關結果刊登於 mlcommons.org。NVIDIA 稱 v6.1 結果於 2026 年 9 月 16 日公布,並引用了其中 Closed Division 組別的成績。
3.7 倍代表所有 AI 工作都快 3.7 倍嗎?
不是。NVIDIA 稱 3.7 倍是 Qwen3-VL 基準上的「最高」數值;在 DeepSeek-R1 上,NVIDIA 公布的最高倍數是 2.5 倍。不同模型與情境結果不同。
這些成績經過獨立驗證了嗎?
本文的數據全部來自 NVIDIA 官方網站,屬於廠商自己的說法。NVIDIA 標示其引用數據取自 mlcommons.org,但同時承認提交截止後的 GPT-OSS-120B 與 DLRMv3 成績尚未經 MLCommons 驗證,而 Vera Rubin 結果屬預覽提交。
30 倍的數字從哪裡來?
NVIDIA 稱,在 SemiAnalysis AgentX 基準的預覽測試中,Vera Rubin NVL72 效能為 GB300 NVL72 的 30 倍。這並非 MLPerf 成績,NVIDIA 的文章也未詳細說明測試條件。
一般人現在需要做什麼嗎?
不需要。這是資料中心層級的硬體,本文不提供任何購買建議。一般使用者可把它視為 AI 雲端服務後端硬體演進的一個訊號,並以實際服務表現為準。
覺得這篇整理實用嗎?分享給需要的朋友
同主題延伸閱讀
NVIDIA AI Infra Summit 談電力效率:Vera Rubin 與 DSX 新增了什麼
2026 年 9 月 15 日,NVIDIA 在加州聖塔克拉拉的 AI Infra Summit 上介紹 Vera Rubin 平台與 DSX 機房電力管理軟體,並表示衡量 AI 基礎設施的指標正從尖峰效能轉向每百萬瓦的 token 產出。本文依 NVIDIA 當天發布的官方部落格與 1 月、8 月的新聞稿查核,說明這天新增了什麼、哪些數字是實測、哪些官方自己標成投影,並整理官方還沒有說明的部分。
NVIDIA 與微軟在 Ignite 擴大合作:Azure 跑 Vera Rubin NVL72 預覽、Foundry 新增 Nemotron 3.5,Windows 365 Direct Stream 限量預覽
Google Quantum AI 登上《Science》封面:量子情境性在最多 105 個量子位元仍成立,協調遊戲勝率 98.3%
Google:ARMORY CASTLE 利用 VMware vCenter 零時差漏洞 CVE-2026-123890,影響 vCenter 7.x 與 8.x,Broadcom 已提供修補
資料來源
- NVIDIA Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut | NVIDIA Blog查證日期:
- Zhihan Jiang Author Page | NVIDIA Blog查證日期:
- NVIDIA Vera Rubin Driving Performance Per Watt, Lower Token Costs for Partners Worldwide | NVIDIA Blog查證日期:
- NVIDIA Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut | NVIDIA Blog查證日期:
- - Archives Page 1 | NVIDIA Blog查證日期:
本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。