NVIDIA 称新款 AI 机柜系统 Vera Rubin NVL72 首次参与 MLPerf 推理测试,吞吐量最高为 GB300 的 3.7 倍

NVIDIA 于 2026 年 9 月 16 日发文,称其数据中心用的 AI 机柜系统 Vera Rubin NVL72 首次参加 MLPerf Inference v6.1 测试,处理 AI 工作的速度最高为 GB300 NVL72 的 3.7 倍。本文整理 NVIDIA 公布的数据、测试条件与限制,并说明这对使用 AI 服务的普通读者意味着什么。所有数据均为 NVIDIA 自身说法。

新闻日期: 阅读时间约 6 分钟

LINE 分享
目录
  1. 1. NVIDIA 公布了什么
  2. 2. NVIDIA 公布的主要数据对比
  3. 3. 性能从何而来:NVIDIA 的技术解释
  4. 4. 其他提交与合作伙伴
  5. 5. 对普通读者有什么影响

NVIDIA 公布了什么

根据 NVIDIA 官方博客 2026 年 9 月 16 日的文章(作者 Zhihan Jiang),MLPerf Inference v6.1 结果于当日公布。MLPerf Inference 是一套衡量 AI 推理性能的基准测试;推理指 AI 服务回答问题、生成图片或视频时实际执行的计算。NVIDIA 首次以预览(preview)形式提交新一代 Vera Rubin NVL72 系统的成绩,并表示这批提交涵盖 DeepSeek-R1 与 Qwen3-VL 两个 AI 模型的测试项目。

NVIDIA 称,在 Qwen3-VL 的 offline、server 与 interactive 三种测试场景中,Vera Rubin NVL72 搭配 vLLM 与 NVIDIA Dynamo 开源推理框架,吞吐量最高为 GB300 NVL72 的 3.7 倍;在 DeepSeek-R1 上使用 TensorRT-LLM 库,则最高为 2.5 倍。NVIDIA 注明这些数据属于 MLPerf 的 Closed Division 组别,于 9 月 16 日从 mlcommons.org 获取。NVIDIA 另表示,合作伙伴 Nebius 也提交了 Vera Rubin NVL72 的预览结果。

NVIDIA 公布的主要数据对比

资料来源:NVIDIA 官方博客(2026 年 9 月 16 日),均为 NVIDIA 自述数据
项目系统NVIDIA 公布的数据备注
Qwen3-VL 吞吐量Vera Rubin NVL72 对比 GB300 NVL72最高 3.7 倍预览提交;使用 vLLM 与 NVIDIA Dynamo
DeepSeek-R1 吞吐量Vera Rubin NVL72 对比 GB300 NVL72最高 2.5 倍预览提交;使用 TensorRT-LLM
SemiAnalysis AgentXVera Rubin NVL72 对比 GB300 NVL7230 倍NVIDIA 称为预览测试,非 MLPerf 项目
多机柜扩展效率GB300 NVL72,72 至 288 颗 GPU99%DeepSeek-R1,offline 场景
WAN 2.2 文字生成视频GB300 NVL72 对比单一节点每秒 0.65 条 720p 视频;吞吐量 9 倍、延迟低 7.5 倍每条视频 5.7 秒
软件优化GB300 NVL72,v6.1 对比 v6.0最高 1.6 倍Qwen3-VL

性能从何而来:NVIDIA 的技术解释

NVIDIA 将成绩归因于软硬件协同设计。据其说法,Vera Rubin 增强的 Tensor Core 与 Transformer Engine 同时加速推理的 prefill(读入提示)与 decode(逐字生成回复)两个阶段,而 NVFP4 低精度格式则降低模型权重、attention 与 KV cache(推理过程中暂存的数据)的内存占用,NVIDIA 称这能提高吞吐量,且输出质量损失极小。

  • 分开处理两个阶段:NVIDIA 称其提交大量采用分离式服务,把 prefill 与 decode 分开处理,并搭配大规模专家并行,以处理混合专家(MoE)架构的模型,例如 DeepSeek-R1 与 Qwen3-VL。
  • 机柜内的高速互连:NVIDIA 称第六代 NVLink 与 NVLink Switch 相比现成以太网有 10 倍数据包速率和 3 倍更低延迟。
  • 软件持续优化:NVIDIA 称 GB300 NVL72 在 Qwen3-VL 上的提升来自更低的 KV cache 精度、更多 kernel(底层运算程序)融合、更优的 kernel 与分离式服务。

其他提交与合作伙伴

NVIDIA 表示,它还以 TensorRT Edge-LLM 提交了边缘设备 Jetson AGX Thor 在新推出的 Edge-Agentic 基准(使用 Qwen3.6-27B)上的结果。NVIDIA 另称共有 19 家合作伙伴参与(其中 8 家使用多节点 Blackwell NVL72 系统),参与者包括 ASUS、Azure、Cisco、CoreWeave、Dell Technologies、HPE、Oracle Cloud Infrastructure 与 Supermicro 等。NVIDIA 还提到即将推出的 MLPerf Endpoints 基准,称其将为 AI 代理(能分多个步骤推理、规划并行动的 AI)类型的推理工作提供标准化衡量。

背景方面,NVIDIA 在 2026 年 7 月 21 日的另一篇文章中称,Vera Rubin NVL72 的产量正在逐步提升,并已在 CoreWeave、Google Cloud、Microsoft Azure、Oracle Cloud Infrastructure 与 Nebius 等合作伙伴处运行。

对普通读者有什么影响

Vera Rubin NVL72 是整座机柜级别的数据中心系统,并非个人电脑或手机部件,普通用户不会直接接触。它的意义在于后端:AI 服务回答问题、生成图片或视频时的推理计算,就是在这类设备上执行。若 NVIDIA 所称的吞吐量与扩展效率在实际部署中成立,云服务商理论上能用同样的硬件服务更多用户;但最终是否转化为更快的响应或更低的服务价格,取决于各服务商的决策,NVIDIA 的文章并未说明。读者也应记住,基准测试只反映特定模型与场景,实际应用表现可能不同。

常见问题

MLPerf Inference v6.1 是什么?

它是一套衡量 AI 推理性能的基准测试。根据 NVIDIA 文章的注记,MLPerf 是 MLCommons Association 的名称与商标,相关结果发布于 mlcommons.org。NVIDIA 称 v6.1 结果于 2026 年 9 月 16 日公布,并引用了其中 Closed Division 组别的成绩。

3.7 倍是否代表所有 AI 工作都快 3.7 倍?

不是。NVIDIA 称 3.7 倍是 Qwen3-VL 基准上的“最高”数值;在 DeepSeek-R1 上,NVIDIA 公布的最高倍数是 2.5 倍。不同模型与场景结果不同。

这些成绩经过独立验证了吗?

本文的数据全部来自 NVIDIA 官方网站,属于厂商自己的说法。NVIDIA 标示其引用数据取自 mlcommons.org,但同时承认提交截止后的 GPT-OSS-120B 与 DLRMv3 成绩尚未经 MLCommons 验证,而 Vera Rubin 结果属预览提交。

30 倍的数字从哪里来?

NVIDIA 称,在 SemiAnalysis AgentX 基准的预览测试中,Vera Rubin NVL72 性能为 GB300 NVL72 的 30 倍。这并非 MLPerf 成绩,NVIDIA 的文章也未详细说明测试条件。

普通人现在需要做什么吗?

不需要。这是数据中心级别的硬件,本文不提供任何购买建议。普通用户可把它视为 AI 云服务后端硬件演进的一个信号,并以实际服务表现为准。

查看同分类最新消息

觉得这篇整理实用吗?分享给需要的朋友

LINE 分享

资料来源

本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。

生活分享