Google Cloud, Z4M 스토리지 최적화 머신 출시: 대용량 로컬 SSD와 400Gbps 고속 네트워크로 AI 학습·대규모 데이터 처리 겨냥

무슨 일이 있었나

Google Cloud는 차세대 스토리지 최적화 Z4M 머신 시리즈가 Google Compute Engine에서 정식 출시(GA)되었다고 발표했습니다. 고객은 물리 서버를 나누어 만든 가상 컴퓨터인 가상 머신(VM)을 선택할 수도 있고, 가상화 계층 없이 물리 하드웨어를 직접 사용하는 서버인 베어메탈(bare-metal) 인스턴스를 선택할 수도 있습니다.

Google Cloud에 따르면 Z4M은 세 가지 AI/ML 학습·추론 워크로드를 위해 설계되었습니다. 첫째는 학습 도중 진행 상황을 주기적으로 저장하는 체크포인팅(checkpointing)입니다. 둘째는 자주 쓰는 데이터를 여러 머신에 분산해 임시 저장하여 빠르게 꺼내 쓰는 분산 키-값(KV) 캐시입니다. 셋째는 여러 서버가 동시에 같은 데이터를 읽고 쓸 수 있게 하는 스토리지 시스템인 병렬 파일 시스템입니다. Google Cloud는 Z4M이 5세대 Intel Xeon Scalable 프로세서와 최신 Titanium 강화 기능을 사용하며, 최대 168,000GiB의 로컬 SSD(LSSD)와 최대 400Gbps의 Cloud RDMA 네트워크를 제공한다고 밝혔습니다.

RDMA(원격 직접 메모리 접근)는 서버 간에 데이터를 더 직접적으로 주고받게 하는 네트워크 기술입니다. TCP는 일반 네트워크에서 흔히 쓰는 전송 방식입니다. Google Cloud는 TCP 네트워크와 비교해 RDMA가 데이터 접근 지연 시간을 최대 60% 줄일 수 있다고 설명했습니다.

사양과 성능 핵심

Google Cloud에 따르면 Z4M VM과 베어메탈 인스턴스는 최대 192개의 vCPU(가상 프로세서 코어)와 1,536GiB 메모리를 제공합니다. VM은 vCPU당 875GiB의 LSSD 용량을 갖습니다. IOPS는 초당 처리할 수 있는 읽기/쓰기 횟수를 뜻합니다. Google Cloud는 Z4M이 최대 1,560만 회(15.6M)의 랜덤 읽기 IOPS와 최대 초당 75,600MiB의 순차 읽기 처리량을 낸다고 밝혔습니다. 이전 세대인 Z3와 비교하면 LSSD 성능과 처리량이 각각 최대 70%, 110% 향상되었다고 합니다.

네트워크 측면에서 Google Cloud는 Z4M이 NVIDIA GPUDirect Storage와 TPUDirect Storage를 통해 라인 레이트로 데이터를 전송한다고 설명했습니다. 라인 레이트는 네트워크 대역폭 한도의 속도로 전송한다는 뜻이며, GPU와 TPU의 활용률을 높게 유지하는 데 도움을 주려는 것입니다. Google Cloud는 또한 Z4M의 LSSD 대 네트워크 처리량 비율이 1.4:1이어서 로컬에서 데이터를 처리하면서 동시에 최고 속도로 데이터를 내보낼 수 있다고 밝혔습니다.

Google Cloud의 글은 파트너사가 자체 테스트한 결과도 인용했습니다. Silk의 Adik Sokolovski는 Z4M에서 Cloud RDMA가 TCP보다 지연 시간이 최대 3.7배 낮고 CPU 사용량이 최대 6배 적다고 말했습니다. WEKA의 Ajay Singh는 Z4M의 읽기 처리량이 Z3 시리즈의 약 두 배이고 IOPS는 최대 79% 더 높다고 말했습니다. 이는 업체가 직접 밝힌 테스트이며 독립적으로 검증된 것이 아닙니다.

누구에게 영향이 있고 왜 중요한가

AI 모델을 학습할 때 값비싼 GPU와 TPU가 데이터를 기다리면 놀게 됩니다. Google Cloud가 Z4M을 내놓은 취지는 이러한 가속기에 데이터를 더 빠르게 전달해 높은 활용률을 유지하게 하려는 것입니다.

Google Cloud가 제시한 대상 시나리오는 세 가지입니다. 첫째는 AI/ML 학습과 추론입니다. 둘째는 병렬 파일 시스템과 엔터프라이즈 스토리지로, Google Cloud는 Weka, Sycomp, Silk, VDURA를 언급했습니다. 셋째는 SQL, NoSQL, 벡터 데이터베이스 같은 핵심 기업 데이터베이스입니다. Hyperdisk는 Google Cloud가 네트워크로 연결해 제공하는 블록 스토리지입니다. Google Cloud는 Z4M이 Hyperdisk Balanced, Hyperdisk Throughput, Hyperdisk Extreme도 지원하며 인스턴스당 최대 512TiB라고 밝혔습니다. Google Cloud는 Hyperdisk Balanced가 최대 320K IOPS, Hyperdisk Extreme이 최대 500K IOPS와 12,500MiB/s라고 설명했습니다.

관리 측면에서 Google Cloud는 Cluster Director와 Cluster Toolkit으로 대규모 Z4M 클러스터를 설정, 배포, 관리할 수 있다고 밝혔습니다. Z4M은 GPU, TPU 클러스터와 같은 위치에 배치(코로케이션)할 수도 있습니다. 또한 Google Cloud는 유지보수가 필요하면 며칠 전에 사용자에게 알린다고 밝혔습니다.

시작하는 방법

Google Cloud에 따르면 Google Cloud 콘솔에서 새 VM 또는 GKE 노드 풀을 만들 때 '스토리지 최적화(Storage-Optimized)' 머신 시리즈에서 Z4M을 선택하면 됩니다. GKE 노드 풀은 Google 컨테이너 서비스에서 서버를 묶은 단위입니다. 제공 리전은 Google Cloud 영업 담당자에게 확인하세요.

자주 묻는 질문

이 주제의 최신 뉴스 보기

• 테크 뉴스