Google Cloud、ストレージ最適化の「Z4M」を提供開始：大容量ローカルSSDと400 Gbpsの高速ネットワークでAI学習と大規模データ処理に対応

何が起きたのか

Google Cloudは、次世代のストレージ最適化マシンシリーズZ4MがGoogle Compute Engineで一般提供（GA）になったと発表しました。利用者は、物理サーバーを分割した仮想コンピューターである仮想マシン（VM）か、仮想化レイヤーなしで物理ハードウェアを直接使うサーバーであるベアメタルインスタンスを選べます。

Google Cloudによると、Z4Mは3種類のAI/ML学習・推論ワークロード向けに設計されています。1つ目はチェックポイント（checkpointing）で、学習中に進捗を定期的に保存することです。2つ目は分散キーバリュー（KV）キャッシュで、よく使うデータを複数のマシンに分散して一時保存し、素早く取り出せるようにする仕組みです。3つ目は並列ファイルシステムで、多数のサーバーが同じデータを同時に読み書きできるストレージシステムです。Google Cloudは、Z4Mが第5世代Intel Xeon Scalableプロセッサと最新のTitaniumの強化機能を採用し、最大168,000 GiBのローカルSSD（LSSD）と最大400 GbpsのCloud RDMAネットワークを提供するとしています。

RDMA（リモートダイレクトメモリアクセス）は、サーバー間でより直接的にデータをやり取りするネットワーク技術です。TCPは一般的なネットワークで広く使われる転送方式です。Google Cloudは、TCPネットワークと比べてRDMAではデータアクセスのレイテンシを最大60%削減できると述べています。

スペックと性能のポイント

Google Cloudによると、Z4MのVMとベアメタルインスタンスは、最大192個のvCPU（仮想プロセッサコア）と1,536 GiBのメモリを備えます。VMではvCPUあたり875 GiBのLSSD容量が割り当てられます。IOPSは1秒間に処理できる読み書き回数です。同社は、Z4Mがランダム読み取りで最大1,560万IOPS（15.6M）、シーケンシャル読み取りスループットで最大毎秒75,600 MiBに達するとしています。前世代のZ3と比べ、LSSDの性能とスループットはそれぞれ最大70%、110%向上したとのことです。

ネットワークについて、Google CloudはZ4MがNVIDIA GPUDirect StorageとTPUDirect Storageにより、ワイヤースピードでデータを転送すると説明しています。ワイヤースピードとは、ネットワーク帯域の上限の速度で転送することで、GPUやTPUの稼働率を高く保つことが目的です。またGoogle Cloudは、Z4MのLSSDとネットワークスループットの比率は1.4:1で、ローカルでデータを処理しながら全速でデータを送出できるとしています。

Google Cloudの記事には、パートナーが自ら実施したテスト結果も引用されています。SilkのAdik Sokolovski氏は、Z4M上のCloud RDMAはTCPと比べてレイテンシが最大3.7倍低く、CPU使用量が最大6倍少ないと述べています。WEKAのAjay Singh氏は、Z4Mの読み取りスループットはZ3シリーズの約2倍で、IOPSは最大79%多いと述べています。これらはベンダー自己申告のテストであり、独立した検証ではありません。

誰に影響し、なぜ重要なのか

AIモデルの学習では、高価なGPUやTPUがデータを待つ間、遊休状態になってしまいます。Google CloudがZ4Mを投入する狙いは、これらのアクセラレータへデータをより速く届け、稼働率を高く保つことです。

Google Cloudが挙げる対象シナリオは3つです。1つ目はAI/ML学習・推論。2つ目は並列ファイルシステムとエンタープライズ向けストレージで、Google CloudはWeka、Sycomp、Silk、VDURAの名を挙げています。3つ目はSQL、NoSQL、ベクトルデータベースなどのミッションクリティカルな企業向けデータベースです。HyperdiskはGoogle Cloudがネットワーク経由で接続するブロックストレージです。Google Cloudによると、Z4MはHyperdisk Balanced、Hyperdisk Throughput、Hyperdisk Extremeにも対応し、1インスタンスあたり最大512 TiBです。Google Cloudは、Hyperdisk Balancedは最大320K IOPS、Hyperdisk Extremeは最大500K IOPSと12,500 MiB/sとしています。

管理面では、Cluster DirectorとCluster Toolkitで大規模なZ4Mクラスタの設定、デプロイ、管理ができるとGoogle Cloudは説明しています。Z4MはGPUやTPUのクラスタと同じ場所に配置（コロケーション）することも可能です。またGoogle Cloudは、メンテナンスが必要な場合、数日前にユーザーへ通知するとしています。

始め方

Google Cloudによると、Google Cloudコンソールで新しいVMまたはGKEノードプールを作成する際、「ストレージ最適化（Storage-Optimized）」マシンシリーズからZ4Mを選択します。GKEノードプールは、Googleのコンテナサービスにおけるサーバーのグループです。提供リージョンはGoogle Cloudの営業担当に確認してください。

よくある質問

このトピックの最新ニュースを見る

• テックニュース