NVIDIA, 새 AI 랙 시스템 Vera Rubin NVL72가 MLPerf 추론 테스트에 처음 참가해 처리량이 GB300의 최대 3.7배라고 주장
NVIDIA는 2026년 9월 16일 게시글에서 데이터센터용 AI 랙 시스템 Vera Rubin NVL72가 MLPerf Inference v6.1에 처음 참가해 AI 작업 처리 속도가 GB300 NVL72의 최대 3.7배라고 밝혔다. NVIDIA가 공개한 수치와 테스트 조건, 한계, 그리고 AI 서비스를 쓰는 일반 독자에게 갖는 의미를 정리한다. 모든 수치는 NVIDIA의 자체 주장이다.
뉴스 날짜: 읽는 데 약 7분
목차
NVIDIA가 발표한 내용
NVIDIA 공식 블로그의 2026년 9월 16일 글(작성자 Zhihan Jiang)에 따르면 MLPerf Inference v6.1 결과가 그날 공개되었다. MLPerf Inference는 AI 추론 성능을 측정하는 벤치마크로, 추론이란 AI 서비스가 질문에 답하거나 이미지·영상을 생성할 때 실제로 수행하는 연산을 가리킨다. NVIDIA는 차세대 Vera Rubin NVL72 시스템 결과를 처음으로 프리뷰(preview) 형태로 제출했으며, 이번 제출이 DeepSeek-R1과 Qwen3-VL 두 AI 모델의 테스트 항목을 포함한다고 밝혔다.
NVIDIA는 Qwen3-VL의 offline, server, interactive 세 시나리오에서 Vera Rubin NVL72가 vLLM 및 NVIDIA Dynamo 오픈소스 추론 프레임워크와 함께 GB300 NVL72 대비 최대 3.7배의 처리량을 냈고, DeepSeek-R1에서는 TensorRT-LLM 라이브러리를 사용해 최대 2.5배를 냈다고 밝혔다. NVIDIA는 이 수치가 MLPerf Closed Division 부문이며 9월 16일 mlcommons.org에서 가져왔다고 명시했다. 또한 파트너사 Nebius도 Vera Rubin NVL72의 프리뷰 결과를 제출했다고 한다.
NVIDIA가 공개한 주요 수치 비교
| 항목 | 시스템 | NVIDIA 공개 수치 | 비고 |
|---|---|---|---|
| Qwen3-VL 처리량 | GB300 NVL72 대비 Vera Rubin NVL72 | 최대 3.7배 | 프리뷰 제출, vLLM·NVIDIA Dynamo 사용 |
| DeepSeek-R1 처리량 | GB300 NVL72 대비 Vera Rubin NVL72 | 최대 2.5배 | 프리뷰 제출, TensorRT-LLM 사용 |
| SemiAnalysis AgentX | GB300 NVL72 대비 Vera Rubin NVL72 | 30배 | NVIDIA에 따르면 프리뷰 테스트, MLPerf 항목 아님 |
| 다중 랙 확장 효율 | GB300 NVL72, GPU 72~288개 | 99% | DeepSeek-R1, offline 시나리오 |
| WAN 2.2 텍스트-투-비디오 | 단일 노드 대비 GB300 NVL72 | 초당 720p 영상 0.65개, 처리량 9배, 지연 7.5배 낮음 | 영상당 5.7초 |
| 소프트웨어 최적화 | GB300 NVL72, v6.0 대비 v6.1 | 최대 1.6배 | Qwen3-VL |
성능은 어디서 나왔나: NVIDIA의 기술 설명
NVIDIA는 이 성적을 하드웨어와 소프트웨어의 공동 설계 덕으로 돌린다. 설명에 따르면 Vera Rubin의 강화된 Tensor Core와 Transformer Engine은 추론의 prefill(프롬프트 읽기)과 decode(답변을 차례로 생성) 두 단계를 모두 가속하고, 저정밀도 형식 NVFP4는 모델 가중치, attention, KV cache(추론 중 임시 저장되는 데이터)의 메모리 사용량을 줄여 출력 품질 손실을 최소화하면서 처리량을 높인다고 한다.
- 두 단계를 분리해 처리: NVIDIA는 제출 건 다수가 분리형 서빙으로 prefill과 decode를 따로 처리하고, 대규모 전문가 병렬화를 곁들여 DeepSeek-R1, Qwen3-VL 같은 혼합 전문가(MoE) 구조 모델을 다뤘다고 밝혔다.
- 랙 내부의 고속 연결: NVIDIA는 6세대 NVLink와 NVLink Switch가 일반 이더넷 대비 패킷 속도 10배, 지연 3배 낮은 성능을 낸다고 밝혔다.
- 지속적인 소프트웨어 최적화: NVIDIA는 GB300 NVL72의 Qwen3-VL 성능 향상이 더 낮은 KV cache 정밀도, 더 많은 kernel(저수준 연산 프로그램) 융합, 개선된 kernel과 분리형 서빙에서 나왔다고 밝혔다.
기타 제출과 파트너
NVIDIA는 엣지 장치 Jetson AGX Thor의 결과도 TensorRT Edge-LLM으로 새로 도입된 Edge-Agentic 벤치마크(Qwen3.6-27B 사용)에 제출했다고 밝혔다. 또 파트너 19곳이 참여했고 그중 8곳이 다중 노드 Blackwell NVL72 시스템을 썼다고 한다. 참여 파트너에는 ASUS, Azure, Cisco, CoreWeave, Dell Technologies, HPE, Oracle Cloud Infrastructure, Supermicro 등이 포함된다고 한다. 곧 나올 MLPerf Endpoints 벤치마크도 언급하며, 이것이 AI 에이전트(여러 단계에 걸쳐 추론·계획·행동하는 AI)형 추론 작업을 표준화해 측정할 것이라고 밝혔다.
배경으로, NVIDIA는 2026년 7월 21일의 다른 글에서 Vera Rubin NVL72 생산량이 점차 늘고 있으며 CoreWeave, Google Cloud, Microsoft Azure, Oracle Cloud Infrastructure, Nebius 등 파트너사에서 이미 가동 중이라고 밝혔다.
일반 독자에게 어떤 영향이 있나
Vera Rubin NVL72는 랙 전체 규모의 데이터센터 시스템으로, PC나 휴대전화 부품이 아니어서 일반 사용자가 직접 접하지 않는다. 의미는 백엔드에 있다. AI 서비스가 질문에 답하거나 이미지·영상을 만들 때의 추론 연산이 이런 장비에서 실행된다. NVIDIA가 말한 처리량과 확장 효율이 실제 배치에서도 성립한다면 클라우드 사업자는 이론상 같은 하드웨어로 더 많은 사용자를 상대할 수 있다. 다만 이것이 더 빠른 응답이나 더 낮은 서비스 가격으로 이어질지는 각 서비스 업체의 결정에 달려 있고, NVIDIA의 글은 이를 설명하지 않는다. 벤치마크는 특정 모델과 시나리오만 반영하므로 실제 성능은 다를 수 있다는 점도 기억해야 한다.
자주 묻는 질문
MLPerf Inference v6.1이란 무엇인가요?
AI 추론 성능을 측정하는 벤치마크입니다. NVIDIA 글의 주석에 따르면 MLPerf는 MLCommons Association의 이름이자 상표이며 관련 결과는 mlcommons.org에 게재됩니다. NVIDIA는 v6.1 결과가 2026년 9월 16일 공개되었고 그중 Closed Division 부문 성적을 인용했다고 밝혔습니다.
3.7배는 모든 AI 작업이 3.7배 빠르다는 뜻인가요?
아닙니다. NVIDIA는 3.7배가 Qwen3-VL 벤치마크에서의 '최대' 수치라고 밝혔고, DeepSeek-R1에서 NVIDIA가 공개한 최대 배수는 2.5배입니다. 모델과 시나리오에 따라 결과가 다릅니다.
이 성적은 독립적으로 검증되었나요?
이 글의 수치는 모두 NVIDIA 공식 웹사이트에서 나온 업체 자체 주장입니다. NVIDIA는 인용 데이터를 mlcommons.org에서 가져왔다고 밝혔지만, 제출 마감 후의 GPT-OSS-120B와 DLRMv3 성적은 MLCommons 검증을 거치지 않았다고 인정했고, Vera Rubin 결과는 프리뷰 제출입니다.
30배라는 수치는 어디서 나왔나요?
NVIDIA는 SemiAnalysis AgentX 벤치마크의 프리뷰 테스트에서 Vera Rubin NVL72 성능이 GB300 NVL72의 30배였다고 밝혔습니다. 이는 MLPerf 성적이 아니며, NVIDIA의 글도 테스트 조건을 자세히 설명하지 않습니다.
일반 사용자가 지금 해야 할 일이 있나요?
없습니다. 데이터센터급 하드웨어이며 이 글은 어떤 구매 권유도 하지 않습니다. AI 클라우드 서비스 백엔드 하드웨어가 발전하고 있다는 신호 정도로 보고, 실제 서비스 성능을 기준으로 판단하면 됩니다.
이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요
같은 주제의 글
NVIDIA의 AI Infra Summit 전력 효율 강연: Vera Rubin과 DSX에 새로 추가된 것
2026년 9월 15일, NVIDIA는 미국 캘리포니아주 산타클라라에서 열린 AI Infra Summit에서 Vera Rubin 플랫폼과 데이터센터 전력 관리 소프트웨어 DSX를 소개하며, AI 인프라를 측정하는 지표가 피크 성능에서 메가와트당 토큰 생산량으로 옮겨가고 있다고 밝혔습니다. 본 기사는 NVIDIA가 같은 날 공개한 공식 블로그 게시물과 1월, 8월 보도자료를 근거로 이날 새로 추가된 내용, 실측값과 추정값으로 명시된 수치, 그리고 공식적으로 아직 밝히지 않은 부분을 정리합니다.
NVIDIA·마이크로소프트, Ignite에서 협력 확대: Azure Vera Rubin NVL72 프리뷰, Foundry에 Nemotron 3.5 추가, Windows 365 Direct Stream 제한적 프리뷰
Google Quantum AI, 《Science》 표지 장식: 양자 맥락성이 최대 105큐비트에서도 유지, 조정 게임 승률 98.3%
Google: ARMORY CASTLE, VMware vCenter 제로데이 CVE-2026-123890 악용… vCenter 7.x·8.x 영향, Broadcom 패치 제공
출처
- NVIDIA Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut | NVIDIA Blog확인일:
- Zhihan Jiang Author Page | NVIDIA Blog확인일:
- NVIDIA Vera Rubin Driving Performance Per Watt, Lower Token Costs for Partners Worldwide | NVIDIA Blog확인일:
- NVIDIA Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut | NVIDIA Blog확인일:
- - Archives Page 1 | NVIDIA Blog확인일:
위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.