HPC

H4D VM の一般提供開始: HPC ワークロード向けに卓越したパフォーマンスとスケーリングを実現

Thu, 12 Mar 2026 02:00:00 +0000

※この投稿は米国時間 2026 年 3 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。

このたび、第 5 世代 AMD EPYC™ プロセッサを搭載した、最新のハイパフォーマンスコンピューティング（HPC）向け最適化 VM である H4D VM の一般提供を開始しました。H4D VM は、製造、ヘルスケアとライフサイエンス、天気予報、電子設計自動化（EDA）などの業界に、優れたパフォーマンス、スケーラビリティ、価値を提供します。H4D は、Slurm を使用した Cluster Toolkit によるオーケストレーションと、Google Kubernetes Engine（GKE）によるオーケストレーションをサポートしています。どちらのアプローチでも、要求の厳しいワークロードをほぼ瞬時にデプロイしてスケールできます。

Google Cloud の CPU ポートフォリオで、Cloud Remote Direct Memory Access（RDMA）を備えた VM ファミリーが登場するのは今回が初めてです。H4D の RDMA は Titanium ネットワークアダプタ上にあり、シングルノードの H4D パフォーマンスを複数のノードにスケールして、大規模な本番環境ワークロードを高速化できます。

ドメインや規模を問わず、解決までの時間を短縮

第 5 世代 AMD EPYC CPU の高コア密度と、Google の革新的な低レイテンシ Falcon ハードウェアトランスポートを搭載した H4D VM により、これまで以上に迅速なイテレーションと検出が可能になります。

業界標準のベンチマークを複数使用して H4D のパフォーマンスを実証し、さまざまなドメインと問題サイズにおける H4D の能力を示しました。

医療とライフサイエンス

医療とライフサイエンス（HCLS）の研究者にとって、H4D VM は科学的発見に不可欠な複雑な分子シミュレーションを加速します。以前の C2D VM と比較して、H4D VM は 96 VM で LAMMPS（LJ ベンチマーク）を実行する際の速度が最大 4.3 倍向上し、18,000 コアで 95% の並列効率を実現します。創薬では、32 台の VM で GROMACS（water_33m）を使用し、6,000 個のコアで 72% の並列効率を実現して、5.8 倍の高速化を実証しました。H4D はスケーラビリティも向上しており、192 台の VM（約 37,000 コア）で LAMMPS LJ ベンチマークを実行し、92% の並列効率を維持することが実証されました（図 3 を参照）。

製造

製造業では、H4D VM はミッションクリティカルなコンピュータ支援エンジニアリング（CAE）ワークフローのパフォーマンスを大幅に向上させることで、エンジニアが設計サイクルを短縮し、より大規模なシミュレーションを実行して、より迅速にイテレーションできるようにします。複雑な数値流体力学（CFD）シミュレーションを実行した際、以前の C2D VM と比較して、H4D VM は 32 個の VM で Ansys Fluent（F1_RaceCar_140m ベンチマーク）を 85% の並列効率で実行し、4.1 倍の高速化を実現しました。オープンソースの OpenFOAM（Motorbike_100m）を実行した際、C2D と比較して、16 個の VM を使用して 5.2 倍の高速化を実現し、122% の超線形並列効率を達成しました。

HPC のコストパフォーマンスの新たな基準

H4D VM は、優れたパフォーマンスと柔軟な使用量モデルを組み合わせることで、Google Cloud 上の HPC ワークロードに最適なコストパフォーマンスを提供するように設計されています。H4D は Dynamic Workload Scheduler（DWS）をサポートしており、DWS は、ジャストインタイムの容量に対応する Flex Start モードと、予約を保証する Calendar モードでワークフローに適応します。これにより、長期契約なしで、コア時間あたり 3 セントという低料金でコンピューティングを利用できます。前世代の VM と比較したパフォーマンスと費用効率の結果は、図 6 と図 7 に詳しく示されています。

包括的な HPC 管理

H4D VM の大規模で高密度のクラスタを管理、デプロイするには、Google Cloud の Cluster Director を活用できます。Cluster Director は、高度なメンテナンス機能（プレビュー版にこちらから登録できます）と、ターンキーシステムブループリントによる迅速なクラスタデプロイのための Cluster Toolkit を提供します。ジョブとワークロードの管理については、H4D VM は Google Cloud のフルマネージドクラウドネイティブサービスである Batch と統合されており、Batch によってキューイング、スケジューリング、リソースプロビジョニングが処理されます。さらに、DWS もサポートされています。これは、将来の予約のための Calendar モードと、時間制限付きのオンデマンド使用のための Flex Start モードの両方で使用できます。

お客様とパートナー様の声

「Jump Tradingは早期アクセスで H4D プラットフォームをテストしましたが、その結果に非常に感銘を受けました。テストプロセスが成功したことで、H4D が要求の厳しい大量のオペレーションに必要なパフォーマンス、安定性、効率性を備えていることが実証されました。前世代のマシンと比較してコストパフォーマンスが最大 50% 向上しており、現在、Google Cloud 上の重要なグリッドワークロードとの統合を加速させています。」- Jump Trading、最高技術責任者 Alex Davies 氏、HPC Linux エンジニアリング部門、Benjamin Stromski 氏

「特に大規模でコンピューティング負荷の高い分野では、最速のシステムはオンプレミスで構築し、ベアメタルハードウェアで実行するしかないという考え方が根強く残っています。ベアメタルで運用する正当な理由として、「ハイパーバイザ税」といった用語がよく使われます。しかし、私たちが行ったテストでは異なる結果が出ています。Google H4D VM は、当社の財務リスクベンチマークにおいて、同世代の最上位 AMD CPU のベアメタルよりも優れたパフォーマンスを発揮します。」- HMxLabs、CEO、Hamza Mian 氏

「要求の厳しい CAE および製造分野向けにマネージド HPC ソリューションを提供する大手プロバイダとして、H4D プラットフォームに対する当社の評価は、お客様の最大規模で最も密結合なシミュレーションワークロードを処理できる能力に重点を置きました。その結果には非常に感銘を受けました。テストでは、基盤となる RDMA ファブリックが、大規模な並列処理に必要な優れた低レイテンシと高帯域幅のパフォーマンスを発揮することが確認されました。このレベルの相互接続効率は、衝突試験や CFD などの重要な製造シミュレーションを高速化するために不可欠です。H4D は、高スループットのエンジニアリングワークロードの真のアクセラレータであることを自ら証明しました。当社は、エンジニアリング業界における HPC のパフォーマンス上限を再定義する可能性に期待しています。」- TotalCAE、社長、Rodney Mach 氏

「新しい H4D インスタンスは、当社の要求の厳しい次世代の TPU シミュレーションワークロードにとって大きな前進です。C2D と比較して、さまざまな EDA ベンチマークにわたって 30% のパフォーマンス向上を確認しており、H4D の強力なシングルコアパフォーマンスが証明されました。これは、開発サイクルの高速化に直接つながり、エンジニアリングチームがより迅速にイテレーションできるようになります。」- Google Cloud、チップ設計手法テクニカルリード、Trevor Switkowski

今すぐ H4D を体験

H4D は現在、us-central1-a（アイオワ）、europe-west4-b（オランダ）、asia-southeast1-a（シンガポール）でご利用可能で、追加のリージョンも近日中に提供予定です。リージョンとゾーンのページでリージョン別の提供状況をご確認のうえ、Cloud RDMAを活用して、特に要件の厳しい HPC ワークロードをデプロイしてください。

^{上述のベンチマークでは、次の構成が実行されました。LAMMPS バージョン 20250722、GROMACS バージョン 2023.1、OpenFOAM バージョン 2312、Ansys Fluent バージョン 2024R1。すべての実行で IntelMPI 2021.17.2 が使用されました。C2D / C3D / C4D は TCP を使用し、H4D は RXM と SAR_LIMIT=2G で RDMA を使用しました。すべての実行で、各プラットフォームで利用可能な最大 ppn（ノードあたりのプロセス数）を使用しました（C2D、C3D、C4D / H4D でそれぞれ 56、180、192）。Ansys Fluent の実行では、H4D で 168 ppn、C4D で可変 ppn が使用されました。SMT はすべてオフ。コスト比較は、DWS Flex Start 料金の H4D-highmem-192 と、オンデマンド料金の c3d-standard-360 および c2d-standard-112 のシングルノード間で行われました。}

^{並列効率と最適なノード数は、入力サイズと通信パターンに依存するため、ワークロードによって異なります。}

- プロダクトマネージャー、 Aysha Keen

- シニア HPC テクノロジスト、 Felix Schürmann

STAC Summit NYC での Google Cloud と AMD: 金融業界向けの H4D VM

Tue, 18 Nov 2025 01:00:00 +0000

※この投稿は米国時間 2025 年 10 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。

資本市場では、低レイテンシと高パフォーマンスを求める競争が絶え間なく続いています。そのため、Google Cloud は 10 月 28 日（火）に開催される STAC Summit NYC に参加し、AMD と提携します。両社が力を合わせ、リアルタイムのリスク分析からアルゴリズム取引まで、金融サービス業界で最も要求の厳しいワークロードに、両社のイノベーションを組み合わせることでどのように対処できるかをご紹介します。

金融サービス向けの H4D VM

Google のサービスの中核をなすのは、第 5 世代 AMD EPYC プロセッサ（コードネーム Turin）を搭載した Google Cloud H4D VM で、現在プレビュー版が提供されています。

金融業界は、1 ミリ秒が勝敗を分ける超高速の世界です。H4D VM シリーズは、高頻度取引（HFT）、バックテスト、市場リスクシミュレーション（モンテカルロなど）、デリバティブの価格設定に必要な優れたパフォーマンスを実現するために構築されています。コア間の優れた通信速度と効率性、大容量のメモリ、最適化されたネットワークスループットを備えた H4D シリーズは、複雑な計算をより高速に実行し、シミュレーション時間を短縮し、最終的には競争力を高めるように設計されています。

H4D: 金融ワークロードに優れたパフォーマンス

世代間のパフォーマンス向上を定量化するために、AMD にパフォーマンステストを委託しました。KX Nano オープンソースベンチマークを使用して、新しい H4D VM と前世代の C3D VM（第 4 世代 AMD EPYC プロセッサを搭載）を直接比較しました。このベンチマークユーティリティは、kdb+ データベースのデータオペレーションを実行するシステムの CPU、メモリ、I/O の生のパフォーマンスをテストするように設計されています。これらの高性能な列ベースの時系列データベースは、投資銀行やヘッジファンドなどの大手金融機関で、株式市場の取引や相場などの大量の時系列データを処理するために広く使用されています。

その結果、H4D シリーズではすぐに使える状態で大幅なパフォーマンス向上が実証されました。追加のシステムチューニングなしで、 H4D VM はすべての KX Nano テストシナリオで C3D VM を平均約 34% 上回りました。

図 1: コアあたりのキャッシュ依存型オペレーション（シナリオ 1）では、H4D が世代間の優位性を示し、すべてのテストタイプでパフォーマンスが約 1.36 倍向上しました。これにより、主要な財務モデリング機能におけるコア間の通信速度と効率、メモリレイテンシの優位性が確認されました。*1

図 2: プロセッサ数を最大コア数に設定し、スレッドごとに 1 つの kdb ワーカーを設定したマルチコアスケーラビリティ（シナリオ 2）では、すべてのテストタイプで約 1.33 倍のパフォーマンス向上を実現しました。これは、利用可能なすべてのコアで並列処理を行う H4D の優れた能力を示しています。*2

図 3: kdb+ インスタンスあたり 8 スレッド、コアあたり 1 スレッドの、同時実行の多いマルチスレッドワークロード（シナリオ 3）の場合、H4D は大幅な優位性を維持し、すべてのテストタイプで約 1.33 倍の相対的な向上を実現しました。*3

これらのベンチマーク結果は、H4D VM が最も要求の厳しい低レイテンシのワークロードを高速化するように構築されており、高頻度取引、リスクシミュレーション、定量分析に必要なパフォーマンスを提供することを示しています。

あらゆる金融サービスソリューション

H4D VM は、来週火曜日に開催される STAC Summit で Google Cloud と AMD の大きなハイライトとなるでしょう。また、金融機関向けの幅広いソリューションも展示します。データストレージから高度なコンピューティングまで、技術スタック全体を最適化する方法について、ぜひご相談ください。

IBM Symphony GCE および GKE コネクタ: ジョブを Compute Engine または Google Kubernetes Engine（GKE）にバーストすることで、既存の Platform Symphony グリッドコンピューティング環境を拡張および管理する方法をご確認ください。
Managed Lustre: 運用上のオーバーヘッドなしで、最も要求の厳しい HPC および定量的ワークロード向けに、極めて高いパフォーマンスのファイルストレージを利用できます。
GPU と TPU: Google の強力なアクセラレータが ML、AI、リスク分析タスクを大幅に高速化する方法をご確認ください。
マネージド Slurm を使用した Cluster Director: 人気の Slurm ワークロードマネージャーとの統合により、HPC クラスタワークロードを簡単にデプロイ、管理できます。

エキスパートに相談しよう

金融サービスにおいて、パフォーマンス・セキュリティ・コンプライアンスが妥協できない要素であることを、私たちは理解しています。当日は、皆さまが直面している具体的な課題について議論し、Google Cloud がAMDとのパートナーシップを通じて、企業が革新と成長を実現するために必要な強力で高性能な基盤をどのように提供しているかをご紹介します。

10 月 28 日に開催される STAC Summit NYC の Google Cloud ブースと AMD ブースで皆様にお会いできることを楽しみにしております。

-Annie Ma-Weaver、Google Cloud、グループプロダクトマネージャー

-Anthony Frery、Google Cloud HPC、カスタマーエンジニア

分散 AI と ML の未来に向けて Ray と Kubernetes をともに進化させる

Wed, 12 Nov 2025 01:01:00 +0000

※この投稿は米国時間 2025 年 11 月 4 日に、Google Cloud blog に投稿されたものの抄訳です。

Ray は、Google Cloud のデベロッパーの間で人気のある OSS コンピューティングエンジンで、CPU、GPU、TPU にわたる複雑な分散 AI ワークロードを処理します。同様に、プラットフォームエンジニアは、Kubernetes、特に Google Kubernetes Engine の強力で信頼性の高いインフラストラクチャオーケストレーションに長い間信頼を寄せてきました。今年初め、Google は Anyscale とのパートナーシップを発表し、Ray と Kubernetes の優れた機能を組み合わせて、最も要求の厳しい AI ワークロードに対応する分散オペレーティングシステムを構築しました。今回は、Ray と Kubernetes で共同開発したオープンソースの機能強化についてご紹介します。

Ray と Kubernetes のラベルベースのスケジューリング

Ray の主なメリットの一つは、柔軟なプリミティブセットです。これにより、デベロッパーは基盤となるハードウェアを直接意識することなく、分散アプリケーションを記述できます。しかし、Ray の仮想リソースの既存のサポートでは十分にカバーされないユースケースもあります。

スケジューリングの柔軟性を高め、Ray アプリケーションの自動スケーリングを Ray と Kubernetes のスケジューラがより適切に実行できるようにするため、ラベルセレクタを Ray に導入します。Ray のラベルセレクタは、Kubernetes のラベルとセレクタに大きく影響を受けており、両方のシステム間で使い慣れたエクスペリエンスとスムーズな統合を提供することを目的としています。Ray Label Selector API は Ray v2.49 以降で利用可能で、分散タスクとアクターのスケジューリングの柔軟性が向上します。

新しい Label Selector API により、Ray はデベロッパーが以下のようなことを直接行えるようにします。

Ray クラスタ内のノードにラベルを割り当てる（例: gpu-family=L4, market-type=spot, region=us-west-1）。
タスク、アクター、プレースメントグループを起動する際に、実行するゾーン、リージョン、アクセラレータタイプを宣言する。
カスタムラベルを使用して、トポロジと高度なスケジューリングポリシーを定義する。

GKE で分散アプリケーションをスケジューリングするには、Ray と Kubernetes のラベルセレクタを組み合わせて使用することで、アプリケーションと基盤となるインフラストラクチャを完全に制御できます。また、この組み合わせを GKE のカスタムコンピューティングクラスと併用して、特定の GPU タイプが利用できない場合のフォールバック動作を定義することもできます。具体的な例を見てみましょう。

以下は、利用可能な容量に応じてさまざまな GPU タイプで実行できる Ray リモートタスクの例です。Ray v2.49 以降では、プライマリ GPU タイプまたはマーケットタイプが利用できない場合に、フォールバック動作で GPU をバインドするアクセラレータタイプを定義できるようになりました。この例では、リモートタスクは L4 GPU を使用したスポット容量をターゲットにしていますが、オンデマンドへのフォールバックも可能です。

code_block: <ListValue: [StructValue([('code', '@ray.remote(\r\n label_selector={\r\n "ray.io/accelerator": "L4"\r\n "ray.io/market-type": "spot"\r\n },\r\n fallback_strategy=[\r\n {\r\n "label_selector": {\r\n "ray.io/accelerator": "L4"\r\n "ray.io/market-type": "on-demand"\r\n }\r\n },\r\n ]\r\n)\r\ndef func():\r\n pass'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631b720e20>)])]>

GKE では、カスタムコンピューティングクラスを使用して同じフォールバックロジックを結合し、Ray クラスタの基盤となるインフラストラクチャが同じフォールバック動作と一致するようにできます。

code_block: <ListValue: [StructValue([('code', 'apiVersion: cloud.google.com/v1\r\nkind: ComputeClass\r\nmetadata:\r\n name: gpu-compute-class\r\nspec:\r\n priorities:\r\n - gpu:\r\n type: nvidia-l4\r\n count: 1\r\n spot: true\r\n - gpu:\r\n type: nvidia-l4\r\n count: 1\r\n spot: false\r\n nodePoolAutoCreation:\r\n enabled: true\r\n whenUnsatisfiable: DoNotScaleUp'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631b720820>)])]>

Ray ラベルセレクタの使用を開始するには、Ray のドキュメントをご覧ください。

Ray と Kubernetes でのアクセラレータサポートの強化

今年初め、Google は新しい Ray Serve LLM API を使用して、A3 High および A3 Mega マシンインスタンスで GKE 上に DeepSeek-R1 などの大規模モデルをデプロイする機能を実証しました。GKE v1.33 と KubeRay v1.4 以降では、動的リソース割り当て（DRA）を使用してハードウェアアクセラレータを柔軟にスケジューリングして共有できるため、Ray で次世代の AI アクセラレータを使用できます。具体的には、NVIDIA GB200 NVL72 ラックスケールアーキテクチャを利用する A4X シリーズのマシンに、DRA を使用して Ray クラスタをデプロイできるようになりました。A4X での Ray で DRA を使用するには、A4X 上に AI 向けに最適化された GKE クラスタを作成し、NVL72 ラックを表す ComputeDomain リソースを定義します。

code_block: <ListValue: [StructValue([('code', 'apiVersion: resource.nvidia.com/v1beta1\r\nkind: ComputeDomain\r\nmetadata:\r\n name: a4x-compute-domain\r\nspec:\r\n numNodes: 18\r\n channel:\r\n resourceClaimTemplate:\r\n name: a4x-compute-domain-channel'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631b720dc0>)])]>

次に、Ray ワーカーの Pod テンプレートでクレームを指定します。

code_block: <ListValue: [StructValue([('code', 'workerGroupSpecs:\r\n ...\r\n template:\r\n...\r\nspec:\r\n ...\r\n volumes:\r\n ...\r\n containers:\r\n - name: ray-container\r\n ...\r\n resources:\r\n limits:\r\n nvidia.com/gpu: 4\r\n\t claims:\r\n - name: compute-domain-channel\r\n ...\r\nresourceClaims:\r\n - name: compute-domain-channel\r\n resourceClaimTemplateName: a4x-compute-domain-channel'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631b720a60>)])]>

DRA と Ray を組み合わせることで、最も要求の厳しい Ray ワークロードで最適な GPU パフォーマンスを実現するために、Ray ワーカーグループが同じ GB200 NVL72 ラックに正しくスケジューリングされます。

また、Anyscale とのパートナーシップにより、Ray でよりネイティブな TPU エクスペリエンスを実現し、JAX などのフレームワークとのエコシステム統合を強化します。Ray Train では、Ray v2.49 以降で JAXTrainer API が導入され、JAX を使用した TPU でのモデルトレーニングが効率化されました。Ray でのこれらの TPU の改善について詳しくは、「A more native experience for Cloud TPUs with Ray on GKE」をご覧ください。

Kubernetes の書き込み可能な cgroup を使用した Ray ネイティブのリソース分離

書き込み可能な cgroup を使用すると、コンテナのルートプロセスは、特権機能を必要とすることなく、同じコンテナ内にネストされた cgroup を作成できます。この機能は、同じコンテナ内でユーザーコードと並行して複数のコントロールプレーンプロセスを実行する Ray にとって特に重要です。最も負荷の高いワークロードでも、Ray はコンテナリソースの合計の一部をシステムクリティカルなタスク用に動的に予約できるため、Ray クラスタの信頼性が大幅に向上します。

GKE v1.34.X-gke.X 以降では、次のアノテーションを追加することで、Ray クラスタの書き込み可能な cgroup を有効にできます。

code_block: <ListValue: [StructValue([('code', 'metadata:\r\n annotations:\r\n node.gke.io/enable-writable-cgroups.test-container: "true"'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631b720160>)])]>

書き込み可能な cgroup を使用して Ray のリソース分離を有効にするには、ray start で次のフラグを設定します。

code_block: <ListValue: [StructValue([('code', 'ray start --head --enable-resource-isolation'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631bb0bdc0>)])]>

この機能は、セキュリティを損なうことなくスタック全体の信頼性を向上させるために、Ray と Kubernetes を進化させている例の一つです。

近日中に、タスクおよびアクターごとのリソース制限と要件のサポートも導入する予定です。これは、Ray で長らく要望が寄せられていた機能です。さらに、この機能をアップストリームするために、オープンソースの Kubernetes コミュニティと協力しています。

Pod のインプレースサイズ変更による Ray の垂直自動スケーリング

Kubernetes v1.33 で Pod のインプレースサイズ変更が導入されたことで、Kubernetes で実行する際の Ray の垂直スケーリング機能を統合する初期段階に入りました。初期のベンチマークでは、Pod を水平スケーリングの前に垂直スケーリングすることで、ワークロードの効率が 30% 向上することが示されています。

3 つのワーカーノードを持つ GKE クラスタで、Ray を使用して 2 つの TPC-H ワークロード（クエリ 1 と 5）を 3 回完了した結果に基づくベンチマーク。各ワーカーノードには 32 個の CPU と 32 GB のメモリが搭載されています。

Pod のインプレースサイズ変更により、ワークロードの効率が次のように向上します。

タスク / アクターのスケールアップの高速化: インプレースサイズ変更により、Ray ワーカーは利用可能なリソースを数秒でスケールアップできます。新しいノードをプロビジョニングするのに数分かかる場合があることを考えると、大幅に改善されています。この機能により、新しい Ray タスクのスケジューリング時間が大幅に短縮されます。
ビンパッキングとリソース使用率の向上: Pod のインプレースサイズ変更により、Ray ワーカーを Kubernetes ノードに効率的にビンパッキングできます。新しい Ray ワーカーがスケールアップすると、利用可能なノード容量の小さな部分を予約し、残りの容量を他のワークロードのために解放できます。
信頼性の向上と障害の減少: メモリのインプレーススケーリングにより、メモリ不足（OOM）エラーを大幅に削減できます。失敗したジョブを再起動する必要がないため、この機能によりワークロード全体の効率と安定性が向上します。

Ray + Kubernetes = AI 向けの分散 OS

Google は、Anyscale とのパートナーシップから生まれた最近の共同イノベーションを紹介できることを嬉しく思います。Ray と Kubernetes は、その強力な相乗効果により、最新の AI / ML 向けの分散オペレーティングシステムとしての地位を確立しています。Google は、継続的なパートナーシップがオープンソースの Ray と Kubernetes のエコシステム内のイノベーションを加速し、最終的には分散 AI / ML の未来を推進すると考えています。

これらのアップデートにより、Ray が GKE でシームレスに動作するようになるための大きな一歩を踏み出しました。ご利用方法は以下のとおりです。

容量をリクエストする: Dynamic Workload Scheduler Flex Start を使用して、TPU と GPU をすぐに利用できます。これにより、7 日未満で実行されるジョブのコンピューティングにアクセスできます。
Ray on GKE を使ってみる
TPU で JaxTrainer を試す

-Google、スタッフソフトウェアエンジニア Andrew Sy Kim
-Anyscale、スタッフソフトウェアエンジニア、Edward Oakes 氏

G4 VM の内部: マルチ GPU ワークロード向けのカスタムの高性能 P2P ファブリック

Tue, 11 Nov 2025 00:15:00 +0000

※この投稿は米国時間 2025 年 10 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。

このたび、NVIDIA RTX PRO 6000 Blackwell Server Edition GPU をベースとする G4 VM ファミリーの一般提供が開始されました。Google Cloud 独自のプラットフォーム最適化により、G4 VM は、300 億未満から 1,000 億を超えるパラメータまで、幅広いモデルで推論とファインチューニングを行うための、市販されている NVIDIA RTX PRO 6000 Blackwell GPU の中で最高のパフォーマンスを実現します。このブログでは、これらのプラットフォーム最適化の必要性、仕組み、および独自の環境での使用方法について説明します。

集団のコミュニケーションのパフォーマンスが重要

大規模言語モデル（LLM）は、パラメータ数によって特徴付けられるように、サイズが大きく異なります。小（約 70 億）、中（約 700 億）、大（約 3,500 億以上）です。LLM は、96 GB の GDDR7 メモリを搭載した NVIDIA RTX PRO 6000 Blackwell を含め、単一の GPU のメモリ容量を超えることがよくあります。一般的な解決策は、テンソル並列処理（TP）を使用することです。これは、個々のモデルレイヤを複数の GPU に分散することで機能します。これには、レイヤの重み行列をパーティショニングして、各 GPU が並列で部分的な計算を実行できるようにすることが含まれます。しかし、これらの部分的な結果を All-Gather や All-Reduce などの集団通信オペレーションを使用して結合する必要があるため、パフォーマンスのボトルネックが顕著になります。

G4 ファミリーの GPU 仮想マシンは、PCIe のみのインターコネクトを利用します。Google は、インフラストラクチャに関する豊富な専門知識を活用して、ピアツーピア（P2P）通信をサポートする高性能なソフトウェア定義の PCIe ファブリックを開発しました。重要なのは、G4 のプラットフォームレベルの P2P 最適化により、マルチ GPU スケーリングを必要とするワークロードの集団通信が大幅に高速化されることです。これにより、LLM の推論とファインチューニングの両方が大幅に向上します。

G4 でマルチ GPU のパフォーマンスを加速する方法

マルチ GPU G4 VM シェイプは、カスタムハードウェアとソフトウェアの両方を組み合わせることで、大幅に強化された PCIe P2P 機能を獲得します。この進歩により、GPU データ交換の管理のための All-to-All、All-Reduce、All-Gather コレクティブなどの集団通信が直接最適化されます。その結果、マルチ GPU 推論やファインチューニングなどの重要なワークロードでパフォーマンスが大幅に向上する、低レイテンシのデータパスが実現します。

実際、すべての主要なコレクティブで、強化された G4 P2P 機能により、コードやワークロードを変更することなく、最大 2.2 倍の高速化が実現しています。

G4 での P2P による推論パフォーマンスの向上

G4 インスタンスでは、強化されたピアツーピア通信により、特に vLLM を使用したテンソル並列推論において、マルチ GPU ワークロードのパフォーマンスが直接向上し、スループットが最大 168% 向上、トークン間レイテンシ（ITL）が最大 41% 低下 します。

モデル提供にテンソル並列処理を使用すると、特に標準の非 P2P サービスと比較して、こうした改善が見られます。

同時に、G4 はソフトウェア定義の PCIe と P2P イノベーションを組み合わせることで、推論スループットを大幅に向上させ、レイテンシを短縮します。これにより、ビジネスニーズに合わせて推論デプロイを最適化できます。

スループットまたは速度: P2P を使用する G4 で選択可能

G4 VM のプラットフォームレベルの最適化は、柔軟で強力な競争上の優位性に直接つながります。ユーザーエクスペリエンスが最重要となるインタラクティブな生成 AI アプリケーションの場合、G4 の P2P テクノロジーにより、トークン間のレイテンシが最大 41% 削減されます。これは、レスポンスの各部分を生成する間の重要な遅延です。これにより、エンドユーザーエクスペリエンスが明らかに高速化され、応答性が向上し、AI アプリケーションに対する満足度が高まります。

また、バッチ推論など、スループットが優先されるワークロードの場合、P2P を使用した G4 では、同等のサービスよりも最大 168% 多くのリクエストを処理できます。つまり、各モデルインスタンスで処理できるユーザー数を増やすか、AI アプリケーションの応答性を大幅に向上させることができます。レイテンシの影響を受けやすいインタラクションに重点を置く場合でも、大容量のスループットに重点を置く場合でも、G4 は市場の他の NVIDIA RTX PRO 6000 製品よりも優れた投資収益率を実現します。

G4 と GKE Inference Gateway でさらに拡張

P2P は単一のモデルレプリカのパフォーマンスを最適化しますが、本番環境の需要を満たすためにスケールするには、多くの場合、複数のレプリカが必要になります。ここで GKE Inference Gateway が真価を発揮します。プレフィックスキャッシュ対応ルーティングやカスタムスケジューリングなどの高度な機能を使用して、モデルのインテリジェントなトラフィックマネージャーとして機能し、デプロイ全体でスループットを最大化し、レイテンシを大幅に削減します。

G4 の P2P の垂直スケーリングと推論ゲートウェイの水平スケーリングを組み合わせることで、最も要求の厳しい生成 AI アプリケーション向けに、非常に高いパフォーマンスと費用対効果を実現するエンドツーエンドのサービングソリューションを構築できます。たとえば、G4 の P2P を使用すると、2 GPU の Llama-3.1-70B モデルレプリカを 66% 高いスループットで効率的に実行できます。その後、GKE Inference Gateway を使用して、これらのレプリカをインテリジェントに管理および自動スケーリングし、世界中のユーザーの需要に対応できます。

G4 P2P でサポートされる VM シェイプ

NVIDIA RTX PRO 6000 Blackwell のピアツーピア機能は、以下のマルチ GPU G4 VM シェイプで利用できます。

マシンタイプ	GPU	ピアツーピア	GPU メモリ（GB）	vCPU	ホストメモリ（GB）	ローカル SSD（GB）
g4-standard-384	2	○	192	96	360	3,000
g4-standard-384	4	○	384	192	720	6,000
g4-standard-384	8	○	768	384	1,440	12,000

8 個未満の GPU を搭載した VM シェイプの場合、ソフトウェア定義の PCIe ファブリックにより、同じ物理マシン上の異なる VM に割り当てられた GPU 間のパスが分離されます。PCIe パスは VM の作成時に動的に作成され、VM シェイプに依存します。これにより、プラットフォームスタックの複数のレベルで分離が確保され、同じ VM に割り当てられていない GPU 間の通信が防止されます。

Google Pixel 4 で P2P を使ってみる

G4 のピアツーピア機能はワークロードに対して透過的であり、アプリケーションコードや NVIDIA Collective Communications Library（NCCL）などのライブラリに変更を加える必要はありません。すべてのピアツーピアパスは、VM の作成時に自動的に設定されます。NCCL ベースのワークロードでピアツーピアを有効にする方法について詳しくは、G4 のドキュメントをご覧ください。

今すぐ Google Cloud コンソールから P2P を使用した Google Cloud G4 VM をお試しください。GKE Inference Gateway を使用して推論プラットフォームの構築を開始できます。詳細については、Google Cloud セールスチームまたは販売パートナーにお問い合わせください。

-Google、アクセラレータソフトウェア担当シニアプロダクトマネージャー、Cyrill Hug

-Google、ソフトウェアエンジニア Prashanth Prakash

オープンソースでエンタープライズ対応: Google Cloud 向けの IBM Spectrum Symphony コネクタ

Mon, 27 Oct 2025 01:00:00 +0000

※この投稿は米国時間 2025 年 10 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Cloud は、お客様がハイパフォーマンスコンピューティング（HPC）のグリッドワークロードを Google のプラットフォームにデプロイしていただけるように取り組んでいます。このたび、オープンソースの Google Compute Engine および Google Kubernetes Engine（GKE）向けの IBM Spectrum Symphony ホスト・ファクトリーコネクタの一般提供が開始されました。

Google Cloud と IBM Spectrum Symphony の統合により、一般的なアーキテクチャと以下の要件をサポートすることで、グリッドワークロードで Google Cloud のメリットを活用できます。

オンプレミスクラスタを Google Cloud に拡張し、コンピューティング容量を自動的に追加してジョブの実行時間を短縮する
Google Cloud でクラスタ全体をデプロイし、ワークロードに基づいてコンピューティングリソースを自動的にプロビジョニングおよび廃止する

これらのコネクタは、IBM Spectrum Symphony ホストファクトリーのカスタムクラウドプロバイダの形式で提供されます。オープンソースのため、Cluster Toolkit から、または手動で簡単にデプロイできます。

パートナーによって構築、テストされているエンタープライズ規模のソリューション

本番環境に対応した堅牢なコネクタを提供するために、Google は金融サービスと HPC に関する深い専門知識を持つ主要なパートナーである Accenture と Aneo と連携しました。Accenture は Compute Engine と GKE のコネクタを構築し、Aneo は厳格なユーザー受け入れテストを実施して、企業のお客様の厳しい要求を満たしていることを確認しました。

「Google Cloud との協力の下で、IBM Spectrum Symphony コネクタを開発できたことをうれしく思っています。金融サービスとクラウドソリューションの両方に関する当社の専門知識により、重要な HPC ワークロードを Google Cloud の高性能インフラストラクチャにシームレスに移行していただけるようになりました。」- Accenture、金融サービス担当マネージングディレクター、Keith Jackson 氏

「Aneo では、IBM Spectrum Symphony コネクタがエンタープライズ HPC のパフォーマンスとスケーラビリティに対する厳しい要件を満たしていることを確認するために、大規模かつ厳格なテストを実施しました。コネクタが最大 5,000 台のサーバーノードを効率的に管理できることを検証し、本番環境のワークロードに対応できることを確認しました。」- Aneo、クラウド HPC エンジニア、William Simon Horn 氏、最高技術責任者、Wilfried Kirschenmann 氏

Google Cloud は、GKE 向けの新しい IBM Spectrum Symphony コネクタで極端な HPC 需要に対応するために迅速にスケールし、5,000 個のコンピューティング Pod に 10 万個を超える vCPU を 8 分未満でプロビジョニングします。IBM は、Spectrum Symphony を最大 5,000 個のコンピューティングノードでテストし、これに対応しています。そのため、新しい GCP コネクタのスケーリングテストの目標として、コンピューティングノードを5, 000 個に設定しています。

このパフォーマンスは、イメージのプリロードやカスタム ComputeClass などの GKE の革新的な機能を活用することで実現しています。これにより、FSI などの要求の厳しい分野のお客様は、費用とハイブリッドクラウドの柔軟性を最適化しながら、ミッションクリティカルなワークロードを加速させることができます。

ご自身に合った方法で利用できる高度な機能

コネクタは、複雑な HPC 環境を管理するために必要な柔軟性と制御を提供するように構築されています。これらは、Google 所有のリポジトリでオープンソースソフトウェアとして提供されます。主な機能は以下のとおりです。

Compute Engine と GKE のサポート: Compute Engine と GKE で IBM Spectrum Symphony ホストファクトリーのクラウドプロバイダを別々に利用することで、仮想マシンとコンテナ化された環境の両方でクラスタをスケールできるようになります。
柔軟な使用モデル: Spot VM、オンデマンド VM、またはその両方の組み合わせがサポートされており、費用とパフォーマンスを最適化できます。
テンプレートベースのプロビジョニング: ワークロードの要件に沿った構成可能なリソーステンプレートを使用します。
包括的なインスタンスサポート: マネージドインスタンスグループ（MIG）API、GPU、ローカル SSD、Confidential Computing VM と完全に統合されます。
イベントドリブン管理: Pub/Sub の統合により、Compute Engine インスタンスでのイベントドリブンのリソース管理が可能です。
Kubernetes ネイティブ: GKE コネクタは、カスタムリソース定義（CRD）を備えるカスタムの Kubernetes オペレータを使用して、Symphony コンピューティング Pod のライフサイクル全体を管理します。GKE のカスタム ComputeClass（CCC）とノードプールオートスケーラーとの透過的な互換性を通じて、GKE のスケーリング機能と GPU や TPU などのカスタムハードウェアを活用できます。
高いスケーラビリティ: コネクタは、大規模なデプロイを処理するために非同期オペレーションで高い性能を実現するように構築されています。
復元力: Spot VM のプリエンプションを自動的に検出して処理することで、ワークロードの信頼性が確保されます。
ロギングとモニタリング: Google Cloud のオペレーションスイートとの統合により、オブザーバビリティが確保されるほか、レポートの作成も可能です。
エンタープライズサポート: コネクタは Google Cloud のファーストパーティソリューションとしてサポートされ、開発パートナーである Accenture へのエスカレーションパスが用意されています。

使ってみる

Google Cloud 向けの IBM Spectrum Symphony コネクタのご利用は、今すぐ開始していただけます。

Google Cloud リポジトリでコネクタを見つけてください。
リファレンスアーキテクチャなど、技術ドキュメントを確認して、使用を開始してください。
HPC ワークロードの移行方法について詳しくは、Google Cloud または Google Cloud アカウントチームにお問い合わせください。

お客様の成功を確実なものにするため、Google はお客様のリサーチとビジネスの目標の達成を加速させるために必要なソリューションへの投資を継続してまいります。Google Cloud の規模と力を活用して、お客様が成果を達成されることを願っております。

-Google Cloud HPC、グループプロダクトマネージャー Annie Ma-Weaver

-Google Cloud HPC、カスタマーエンジニア Anthony Frery

Google Kubernetes Engine で Managed Lustre を使用するときのベストプラクティス 5 つ

Wed, 08 Oct 2025 01:00:00 +0000

※この投稿は米国時間 2025 年 9 月 20 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Kubernetes Engine（GKE）は、スケーラブルな AI とハイパフォーマンスコンピューティング（HPC）のワークロードをオーケストレートするための強力なプラットフォームです。しかし、クラスタが拡大し、ジョブのデータ集約度が高まるにつれて、ストレージの I/O がボトルネックになる可能性があります。また、強力な GPU と TPU がデータの到着を待つ間、アイドル状態になり、コストが増加してイノベーションが遅れる可能性があります。

Google Cloud Managed Lustre は、この問題を解決するために設計されています。多くのオンプレミス型 HPC 環境はすでに並列なファイルシステムを使用しており、Managed Lustre を使うと、これらのワークロードをクラウドに移行するのがより簡単になります。また、マネージド Container Storage Interface（CSI）ドライバにより、Managed Lustre と GKE のオペレーションが完全に統合されます。

そして、高性能かつ並列なファイルシステムへの移行を最適化することで、初日から投資を最大限に活用できます。

デプロイする前に、Managed Lustre を使用するタイミングと、Google Cloud Storage などの他のプロダクトを使用するタイミングを把握しておくと便利です。ほとんどの AI / ML ワークロードでは、Managed Lustre が推奨ソリューションであり、非常に低いレイテンシ（1 ミリ秒未満）と小さなファイルに対する高いスループットが求められるトレーニングとチェックポイントのシナリオで優れた力を発揮します。ただし、それゆえに高価なアクセラレータは引き続き完全に活用することになります。データアーカイブや、レイテンシが高くなっても問題がない大きなファイル（50 MB 超）を使用するワークロードには、Anywhere Cache を使用する Cloud Storage FUSE も別の選択肢となりえます。

初期のお客様との取り組みとチームからの学びに基づいて、GKE で Managed Lustre を確実に最大限に活用するためのベストプラクティスを 5 つご紹介します。

aside_block: <ListValue: [StructValue([('title', 'Google Cloud のコンテナと Kubernetes をお試しいただける $300 分の無料クレジット'), ('body', <wagtail.rich_text.RichText object at 0x7f6338935f40>), ('btn_text', ''), ('href', ''), ('image', None)])]>

1. データのロケーションを考慮した設計

パフォーマンスが重要なアプリケーションの場合、コンピューティングリソースとストレージは可能な限り近くに配置する必要があります。特定のリージョン内の同じゾーンに配置することが理想的です。ボリュームを動的にプロビジョニングする場合、StorageClass の volumeBindingMode パラメータが最も重要な決め手となります。このパラメータを WaitForFirstConsumer に設定することを強くおすすめします。GKE には、デフォルトで WaitForFirstConsumer バインディングモードを使用する Managed Lustre 用の組み込み StorageClass が用意されています。

生成された YAML:

code_block: <ListValue: [StructValue([('code', 'apiVersion: storage.k8s.io/v1\r\nkind: StorageClass\r\nmetadata:\r\n name: lustre-regional-wait\r\nprovisioner: lustre.csi.storage.gke.io\r\nvolumeBindingMode: WaitForFirstConsumer\r\n...'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f63389354f0>)])]>

ベストプラクティスである理由: WaitForFirstConsumer を使用すると、Lustre インスタンスを必要とする Pod がスケジュールされるまで、その Lustre インスタンスのプロビジョニングを遅らせることを求める指示が GKE に届きます。その後、スケジューラは Pod のトポロジ制約（つまり、Pod がスケジュールされているゾーン）を使用して、そのゾーンに Lustre インスタンスを作成します。これにより、ストレージとコンピューティングのコロケーションが保証され、ネットワークレイテンシが最小限に抑えられます。

2. ティアでパフォーマンスを適正化

すべての高パフォーマンスワークロードが同一なわけではありません。Managed Lustre には複数のパフォーマンスティア（ストレージ 1 TiB あたりの読み取り / 書き込みスループット（MB/秒））があるため、コストをパフォーマンス要件に直接整合させることができます。

1,000 & 500 MB/秒/TiB: I/O 帯域幅が主なボトルネックとなる、基盤モデルのトレーニングや大規模な物理シミュレーションなど、スループットが重要なワークロードに最適です。
250 MB/秒/TiB: バランスの取れた費用対効果が高いティアであり、一般的な HPC ワークロードや AI 推論サービング、データ量が多い分析パイプラインに最適です。
125 MB/秒/TiB: ピーク時のスループット達成よりも、POSIX 準拠の大規模なファイルシステムがあることが重要な大型のユースケースに最適です。これは、オンプレミスのコンテナ化されたアプリケーションを修正せずに移行する場合にも役立ち、オンプレミスのワークロードをクラウドストレージに移行するのがより簡単になります。

ベストプラクティスである理由: デフォルトで最上位のティアを選択することが、必ずしも費用対効果の高い戦略とは限りません。ワークロードの I/O プロファイルを分析することで、総所有コストを大幅に最適化できます。

3. ネットワーキングの基礎を習得

並列なファイルシステムは、ネットワークに接続しているリソースです。ネットワーキングを最初から適切に設定することで、トラブルシューティングに費やす時間を大幅に節約できます。プロビジョニングする前に、ドキュメントに記載されているセットアップ手順に沿って VPC を確実に正しく構成してください。これには、ドキュメントで詳しく説明されている 3 つの主要な手順が含まれます。

サービスネットワーキングを有効にする。

VPC ピアリングのIP 範囲を作成する。
Lustre のネットワークポート（TCP 988 または 6988）でその範囲からのトラフィックを許可するファイアウォールルールを作成する。

ベストプラクティスである理由: これは、GKE ノードが Managed Lustre サービスと通信できるようにするセキュリティが確保されたピアリング接続を確立する、VPC ごとの 1 回限りの設定です。

4. シンプルな場合は動的プロビジョニングを、長期的に共有するデータには静的プロビジョニングを

Managed Lustre CSI ドライバには、ストレージを GKE ワークロードに接続するための 2 つのモードがあります。

動的プロビジョニング: ストレージが特定のワークロードまたはアプリケーションのライフサイクルに密接に結び付いている場合に使用します。StorageClass と PersistentVolumeClaim（PVC）を定義すると、GKE が Lustre インスタンスのライフサイクルを自動的に管理します。これは最もシンプルで自動化されたアプローチです。
静的プロビジョニング: 複数の GKE クラスタと Job で共有する必要がある、存続期間の長い Lustre インスタンスがある場合に使用します。Lustre インスタンスを一度作成したら、クラスタ内に PersistentVolume（PV）と PVC を作成して、そのインスタンスにマウントします。これにより、ストレージのライフサイクルが単一のワークロードから切り離されます。

ベストプラクティスである理由: データのライフサイクルを考慮することは、適切なパターンを選択するのに役立ちます。シンプルさを重視してデフォルトとして動的プロビジョニングを使用し、ファイルシステムを組織全体で永続的な共有リソースとして扱う必要がある場合は静的プロビジョニングを選択します。

5. Kubernetes Job を使用した並列処理のアーキテクチャ設計

データの前処理やバッチ推論など、多くの AI および HPC に関するタスクは並列実行に適しています。1 つの大きな Pod を実行する代わりに、Kubernetes Job リソースを使用して、作業を多くのより小さな Pod に分割します。

次のパターンを考えてみましょう。

Managed Lustre インスタンスの PersistentVolumeClaim を 1 つ作成し、クラスタで利用できるようにします。
Kubernetes Job の並行処理を高い数値（例: 100）に設定して、定義します。
Job によって作成された各 Pod は、同じ Lustre PVC をマウントします。
各 Pod がデータの異なるサブセットで動作するようにアプリケーションを設計します（例: 異なる範囲のファイルやデータチャンクを処理する）。

ベストプラクティスである理由: このパターンでは、Lustre インスタンス用に 1 つの PVC を作成し、Job によって作成された各 Pod が同じ PVC をマウントします。各 Pod がデータの異なるサブセットで動作するようにアプリケーションを設計することで、GKE クラスタを強力な分散データ処理エンジンに変えることができます。GKE Job コントローラは並列なタスクオーケストレーターとして機能し、Managed Lustre は高速なデータバックボーンとして機能するため、大規模な集計スループットを実現できます。

使ってみる

GKE のオーケストレーション機能と Managed Lustre のパフォーマンスを組み合わせることで、AI と HPC 向けの真にスケーラブルで効率的なプラットフォームを構築できます。これらのベストプラクティスに従うことで、強力であるだけでなく、効率的で費用対効果が高く、管理しやすいソリューションを作成できます。

準備ができたら Managed Lustre のドキュメントを確認して、今すぐ最初のインスタンスをプロビジョニングしましょう。

ーエンジニアリングマネージャー、Nishtha Jain

ーシニアプロダクトマネージャー、Dan Eawaz

Google Cloud Managed Lustre で AI ワークロードを加速

Fri, 11 Jul 2025 02:00:00 +0000

※この投稿は米国時間 2025 年 7 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。

このたび、AI / ML ワークロードで画期的なパフォーマンスをより簡単に実現できるようになりました。Google Cloud Managed Lustre が一般提供され、4 つの異なるパフォーマンスティアで利用できるようになりました。各ティアでは容量 1 TiB あたり 125 MB/秒、250 MB/秒、500 MB/秒、1,000 MB/秒のスループットが提供され、ストレージ容量は最大 8 PB にスケールアップできます。Managed Lustre ソリューションは DDN の EXAScaler を活用しており、DDN が数十年にわたって培ってきた高パフォーマンスストレージ界をリードする技術と、Google Cloud のクラウドインフラストラクチャに関する専門知識を組み合わせています。

Managed Lustre は、高スループットと低レイテンシを実現する POSIX 準拠の並列ファイルシステムです。こうした特性は以下の用途に不可欠です。

高スループットの推論: 大規模なデータセットで準リアルタイムの推論を必要とするアプリケーションの場合、Lustre は高い並列スループットとミリ秒未満の読み取りレイテンシを実現します。
大規模なモデルのトレーニング: ペタバイト規模のデータセットに迅速にアクセスできるようにすることで、ディープラーニングモデルのトレーニングサイクルを加速します。Lustre の並列アーキテクチャにより、GPU と TPU にデータが十分に供給され、アイドル時間が最小限に抑えられます。
大規模モデルのチェックポイント設定と再開: トレーニング中に大規模モデルの状態をより迅速に保存および復元し、グッドプットを向上させて、より効率的なテストを可能にします。
データの前処理と特徴量エンジニアリング: 元データを処理し、特徴を抽出して、トレーニング用データセットの準備作業を行うことで、データパイプラインに費やす時間を短縮します。
科学シミュレーションと研究: AI / ML 以外にも、Lustre は、膨大なデータセットと高並行アクセスが重要な、計算流体力学、ゲノム配列決定、気候モデリングなど従来からある HPC の用途で優れた性能を発揮します。

Lustre は、多くの AI / ML トレーニングおよび推論タスクに特有の、高度に並列化されたランダム I/O に対応するように設計されています。複数クライアント間の並列処理機能により、コンピューティングリソースがデータ不足になることはありません。

パフォーマンスティアと料金

Managed Lustre は、容量を重視する場合でも、最高のスループット密度を重視する場合でも、ワークロードの多様なニーズを満たすように設計された柔軟な料金とパフォーマンスのティアを提供します。

スループット（MB/秒、ストレージ容量 1 TiB あたり）	ストレージ料金（GiB/月）
125	$0.145
250	$0.21
500	$0.34
1,000	$0.60

詳しくは、Managed Lustre の料金ページをご覧ください。

総スループットに関係なく、すべてのティアでミリ秒未満の読み取りレイテンシと高い単一ストリームスループットが実現され、多数の小さなファイルへの並列アクセスに最適です。

共同でイノベーションを推進: DDN とのパートナーシップ

Google Cloud の Managed Lustre は DDN の EXAScaler を活用しており、高性能コンピューティングと弾力性に優れたクラウドインフラストラクチャの業界リーダー 2 社の提携のもとに生まれました。このパートナーシップは、クラウドでの大規模な AI および HPC ワークロードのデプロイと管理を簡素化するという共通の取り組みの現れであり、以下の要素によって実現されたものです。

信頼できるリーダー: DDN の数十年にわたる高性能な Lustre に関する専門知識と、Google Cloud のグローバルインフラストラクチャおよび AI エコシステムを組み合わせることで、ストレージのボトルネックを解消し、お客様が AI と HPC における最も複雑な課題を解決するのに役立つ基盤機能を提供しています。
フルマネージドのサポート対象ソリューション: Google のフルマネージドサービスのメリットを享受できます。Google と DDN の両方から包括的なサポートを受けられるため、シームレスな運用と安心感が得られます。
グローバルな可用性とエコシステム統合: Managed Lustre は、複数の Google Cloud リージョンでグローバルにアクセス可能になり、Google Kubernetes Engine（GKE）や TPU を含む、より広範な Google Cloud エコシステムと統合されます。

これらのメリットは、Google の最大規模のパートナーである NVIDIA の関心を引き、NVIDIA はこれを NVIDIA AI プラットフォームの一部として組み込むことを楽しみにしています。

「今日の企業は、妥協のないスピード、シームレスなスケーラビリティ、大規模での高い費用対効果を実現するために、高速コンピューティングと高性能ストレージソリューションを組み合わせた AI インフラストラクチャを求めています。Google と DDN が Google Cloud Managed Lustre で提携することで、これらのニーズを満たすのに最適なソリューションが実現します。DDN のエンタープライズグレードのデータプラットフォームと Google のグローバルクラウド機能を統合することで、さまざまな組織が大量のデータに簡単にアクセスし、Google Cloud 上の NVIDIA AI プラットフォーム（または NVIDIA アクセラレーテッドコンピューティングプラットフォーム）で AI の可能性を最大限に引き出すことができます。これにより、インサイトを得るまでの時間を短縮し、GPU の使用率を最大化して、総所有コストを削減できます。」 - NVIDIA アクセラレーテッドコンピューティングプロダクト担当ディレクター、Dave Salvator 氏

今すぐ使用を開始する

AI / ML と HPC のワークロードを強化しませんか？Managed Lustre の使用を開始するのは簡単です。

Google Cloud コンソールで Managed Lustre に移動します。
ニーズに最適なパフォーマンスティアとサイズを選択して、Managed Lustre インスタンスをプロビジョニングします。
コンピューティングインスタンスと GKE クラスタを新しい高パフォーマンスファイルシステムに接続します。

詳しい手順とドキュメントについては、Managed Lustre のドキュメントをご覧ください。必要に応じて、Google Cloud セールススペシャリストにお問い合わせください。

対談を見る

Google Cloud と DDN の戦略的パートナーシップ、および Managed Lustre の独自の機能について詳しく知る機会をお見逃しなく。DDN の公式プレスリリースはこちらでご覧いただけます。

ストレージ担当 VP 兼 GM の Sameet Agarwal と DDN の CTO である Sven Oehme 氏の対談は、こちらからご覧いただけます。

-プロダクト管理担当シニアディレクター、Asad Khan

-グループプロダクトマネージャー、Kirill Tropin

SandboxAQ: クラウドインテグレーションによる創薬の加速

Thu, 15 May 2025 01:15:00 +0000

※この投稿は米国時間 2025 年 4 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。

従来の創薬プロセスは、莫大な資本投資が必要で、開発期間が長期にわたり、高い失敗率に悩まされています。新薬を市場に出すには、初期の研究から規制当局の承認を得るまで、数十年かかることもあります。この期間中、非常に期待されていた新薬候補の多くが、効果が不十分であったり、安全性に関する懸念があるために失敗に終わります。臨床試験と規制上の課題を乗り越えることができる新薬候補は、ごく一部にすぎません。

そこでご紹介するのが、SandboxAQ です。SandboxAQ は、研究者が広大な化学空間を探索し、分子間相互作用に関する深い分析情報を引き出し、生物学的結果を正確に予測できるよう支援します。アクティブラーニング、絶対自由エネルギー摂動ソリューション（AQFEP）、生成 AI、構造解析、予測データ分析などの最先端のコンピューティング手法を活用して、最終的に創薬と医薬品開発のタイムラインを短縮します。そしてこれらすべてを、クラウドネイティブな基盤上で行います。

医薬品の設計は、分子の設計、合成、テストの反復サイクルである「設計 - 製造 - テスト」サイクルにより成り立っています。多くの顧客は、設計段階で SandboxAQ にアプローチします。そして多くの場合に、計算手法が機能していないという問題を抱えています。SandboxAQ は、設計サイクルのこの部分を改善し、加速させることで、医薬化学者が革新的で効果的な分子を市場に投入できるよう支援します。たとえば、神経変性疾患に関連するプロジェクトでは、SandboxAQ のアプローチにより化学空間が 25 万分子から 560 万分子に拡大し、ヒット率が 30 倍向上し、候補分子の発見が大幅に促進されました。

科学的知見のためのクラウドネイティブ開発

SandboxAQ のソフトウェアは大規模なコンピューティングに依存しており、柔軟性とスケーラビリティを最大化するために、Google Cloud のインフラストラクチャとツールを含むクラウド戦略を採用しています。

大規模なバーチャルスクリーニングキャンペーンで使用するテクノロジーは、アジャイルで、費用対効果に優れたスケーリングが可能である必要があります。具体的には、SandboxAQ のエンジニアは、科学的なコードをすばやく反復処理し、そのコードを費用対効果に優れた方法で大規模に即座に実行し、生成されるすべてのデータを保存して整理しなければなりません。

SandboxAQ は、Google Cloud インフラストラクチャを使用することで、効率性とスケーラビリティの大幅な向上を実現しました。演算スループットを 100 倍スケールし、数万台の仮想マシン（VM）を並列で活用できるようになりました。また、アイドル時間を 90% 削減することで、利用率も向上させています。SandboxAQ は、Google Cloud で開発とデプロイを統合することで、コードの開発、テストから大規模なバッチ処理、そして ML モデルのトレーニングに至るまで、ワークフローを効率化しました。

aside_block: <ListValue: [StructValue([('title', 'Google Cloud を無料で試す'), ('body', <wagtail.rich_text.RichText object at 0x7f631bc366d0>), ('btn_text', '無料で開始'), ('href', 'https://console.cloud.google.com/freetrial?redirectPath=/welcome'), ('image', None)])]>

SandboxAQ の開発とデプロイはすべてクラウド上で行われます。コードとデータはクラウドベースのサービスに保存され、開発はクラウドベースのプラットフォームで行われます。このプラットフォームは、科学者やエンジニアに、標準化され一元管理された環境とツールを備えたセルフサービス VM を提供します。これは重要な点といえます。なぜなら、科学的なコードには高い負荷に耐えられるコンピューティングハードウェアが必要になることがよくあるからです。科学者は、96 コアの強力なマシンや、大規模な GPU を使用するインスタンスにアクセスできます。また、以下に示すように、別の構成や CPU タイプで新しいマシンを作成することもできます。これにより、異種リソース間でのスムーズなテストと開発プロセスが可能になります。

SandboxAQ の科学者と開発者は、同社の「bench」クライアントを使用して、Bench マシン（上の図を参照）を管理し、アクセスできます。SSH 経由でマシンに接続したり、即時にリモートデスクトップを提供するブラウザベースの VNC サービスや、JupyterLab による使い慣れたノートブック開発フローなど、さまざまな管理ツールを使用したりできます。

コードを大規模に実行する準備ができたら、研究者は Batch を活用した内部ツールに SandboxAQ のパラメータ化された計算セットをジョブとして送信できます。Batch は、Google インフラストラクチャでバッチジョブをスケジュールし、キューに入れ、実行するフルマネージドサービスです。開発環境とバッチランタイム環境が密接に同期しているため、変更を大規模にすばやく実行できます。また、Bench マシンで開発されたコードは GitHub に push され、すぐにバッチ実行に使用できます。その後、確認され、同社の monorepo の「main」に統合された新しいツールは SandboxAQ の科学者の Bench マシンで自動的に利用可能になります。科学者は、オンデマンド VM または Spot VM を利用し、任意のグローバルゾーンにあるあらゆる種類の Google Cloud VM リソースで数百万個の分子を処理する並列ジョブを起動できます。

SandboxAQ のグローバルに解決された推移的な依存関係ツリーの実装により、パッケージと依存関係の管理が簡単に行えます。この手法では、Google Batch はエンジニアが開発した個々のツールとシームレスに統合し、モデルの多数のインスタンスを並行してトレーニングできます。

ML は SandoxAQ の戦略の中核的要素であり、容易なデータアクセスが特に重要です。一方で、SandboxAQ の創薬チームは機密データを扱うクライアントとも連携しています。顧客のデータを保護するために、Bench ワークロードと Batch ワークロードは、IAM により管理される統合インターフェースからデータを読み書きし、組織内のさまざまなデータソースに対するきめ細かい制御を可能にします。

また、Cloud Logging、Cloud Monitoring、Compute Engine、Cloud Run などの Google Cloud サービスにより、これらのワークロードをモニタリングし、SandboxAQ の科学者にログを簡単に表示し、膨大な量の出力データを精査するためのツールを簡単に開発できます。新機能のテストやバグの発見時には、インフラストラクチャに手を加えることなく、変更がすぐに科学チームに提供されます。コードが安定したら、それを Google Cloud 上の一元的に保護された統一的な方法で、ダウンストリームの本番環境アプリケーションに組み込むことができます。

つまり、Google Cloud 上に開発、バッチコンピューティング、本番環境が統合されていることで、SandboxAQ は新しいワークロードを開発し、大規模に実行する際に直面する摩擦を減らすことができます。科学的なワークロードの開発とエンジニアリングのための共有環境を備えた SandboxAQ は、顧客が試験運用から本番環境に迅速かつ容易に移行できるようにし、顧客が求める結果をすばやく提供します。

SandboxAQ ソリューションの実際の活用

SandboxAQ は、治療が難しいさまざまな疾患を対象とした創薬プログラムにすでに大きな影響を与えています。たとえば、カリフォルニア大学サンフランシスコ校（UCSF）の Stanley Pruisner 教授の研究室、Riboscience、Sanofi、Michael J Fox Foundation などとの先進的な共同研究が挙げられます。この Google Cloud を基盤としたアプローチにより、SandboxAQ は高スループットスクリーニングなどの他の手法と比較して優れたヒット率を達成し、創薬における SandboxAQ の革新的な可能性を示しながら、患者に迅速な治療法を提供しています。

Google Cloud AI インフラストラクチャについて詳しくは、Google Cloud AI Hypercomputer のウェブページをご確認ください。

-Google Cloud AI Infrastructure、プロダクトマーケティングリード Ruslan Mursalzade

新しいコンピューティングのイノベーションとサービスで企業の変革を推進

Thu, 08 May 2025 01:00:00 +0000

※この投稿は米国時間 2025 年 4 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。

過去 12 か月間で、Google Cloud は Compute Engine プラットフォームの目覚ましい強化を実現しました。その大きな原動力となったのが、新しい第 4 世代のコンピューティングインスタンスと Hyperdisk ブロックストレージ、そしてカスタマーエクスペリエンスの大幅な向上です。Google Cloud のコンピューティングポートフォリオは、あらゆるワークロードにおけるパフォーマンスと費用を最適化する一方で、エンタープライズクラスのスケーラビリティ、信頼性、セキュリティ、ワークロードの一貫性を実現して、効率的な成長とイノベーションへの投資を促進します。このたび Google Cloud Next 2025 で発表される内容について見ていきましょう。

あらゆるワークロードに対応する、新たに進化したコンピューティング機能

C4D は vCPU あたりのスループットを 80% 向上させ、パフォーマンスを強化

Google の新しい C4D VM は、AMD の第 5 世代 EPYC プロセッサを基盤とし、Google Titanium の最新技術との組み合わせにより、コア周波数の向上（最大 4.1 GHz）を実現します。C4D は、一般的な幅広いコンピューティングワークロードにおいて、前世代と比較してパフォーマンスが大幅に向上しています（SPECrate®2017_int_base ベンチマークの推定結果で C3D と比較して最大 30% 向上）。これにより、ビジネスクリティカルなアプリケーションのニーズを、より少ないリソースで満たすことができます。

データベースの場合、C4D は C3D と比較して、MySQL での秒間クエリ数が最大 55% 増加し、Redis ワークロードのパフォーマンスが 35% 向上します。ウェブサービスワークロードでは、前世代と比較して vCPU あたりのスループットが最大 80% 向上し、ページのレンダリングが高速化するほか、エンドユーザーにとってもよりスムーズな体験が得られます。C4D は Confidential Computing を提供し、業界標準の 49 のシェイプで利用可能です。サイズは 2 vCPU～384 vCPU、メモリ構成は 3 種類で、最大 3 TB の DDR5 メモリを選択できます。また、Google 初の AMD ベースのベアメタルのプロダクトと新しい Titanium LSSD も含まれます。Compute Engine と Google Kubernetes Engine（GKE）で、プレビュー版が利用可能になった C4D を今すぐお試しください。

「AppLovin は、モバイル広告のグローバルリーダーとしてクライアントに優れたパフォーマンスを提供するため、常に最先端のインフラストラクチャのイノベーションを模索しています。Google Cloud の C4D VM はまさにその目標を達成するための鍵となり、前世代と比較して約 40% の改善を実現し、大幅な効率化とレイテンシの短縮を可能にしました。」- AppLovin、CTO、Basil Shikin 氏

aside_block: <ListValue: [StructValue([('title', '300 ドル分の無料クレジットで Google Cloud インフラストラクチャを試用'), ('body', <wagtail.rich_text.RichText object at 0x7f631b288a90>), ('btn_text', '無料で構築を始める'), ('href', 'http://console.cloud.google.com/freetrial?redirectPath=/compute'), ('image', None)])]>

これまでにない機能と柔軟性を実現する C4 VM

ゲーム、推論、大規模データ処理、リアルタイムワークロードなど、要求の厳しい低レイテンシのタスクに対応するため、C4 マシンシリーズが拡張され、より大きなシェイプ、ローカル SSD、ベアメタルなどの新しい機能と構成を選択できるようになりました。これらの新しい C4 シェイプは、最新の第 6 世代 Intel Granite Rapids CPU のみを基盤としており、Compute Engine VM の中で最高周波数（最大 4.2 GHz）を誇ります。

Titanium ローカル SSD を搭載した C4 シェイプは、データベースやキャッシュレイヤなどの I/O 集約型ワークロードのパフォーマンスを向上させ、ローカル SSD のレイテンシを最大 35% 短縮します。新しい C4 ベアメタルインスタンスは、前世代と比較して、一般的なコンピューティングで最大 35%、ML レコメンデーションワークロードで最大 65% のパフォーマンス向上を実現します。新しい大規模な C4 VM シェイプは、最大 288 vCPU までスケールでき、2.2 TB の高パフォーマンス DDR5 メモリを搭載し、キャッシュサイズが大きくなったことで、データベース、データ分析、メモリ制約のあるその他のワークロードのスケーラビリティを向上させます。プレビュー版へのアクセスは、こちらからリクエストできます。

HPC ワークロードでの大幅なパフォーマンス向上を実現する H4D

H4D VM を使用すると、HPC ワークロードをスケールして、これまで以上に迅速に分析情報を取得できます。これらの VM は第 5 世代 AMD EPYC CPU を基盤としており、12,000 FLOPS を超えるノード全体での VM パフォーマンス、コアあたりのパフォーマンス、950 GB/秒を超えるメモリ帯域幅は、いずれも最高水準を誇ります。H4D VM は 200 Gbps の低レイテンシの Titanium RDMA ネットワーク帯域幅を実現し、10,000 を超えるコアを持つクラスタをサポートしており、今後さらなるスケールの向上も計画されています。詳しくは、Google の科学的革新に関するブログ記事をご覧ください。または、H4D プレビューにご登録ください。

「第 5 世代 AMD EPYC を搭載した Google H4D VM が実現する世代間のパフォーマンス向上は、実に驚くべきものです。Altair Radioss は、自動車事故の分析など、コンピューティング負荷が高く、高度に非線形なシミュレーションで、驚異的な 3.6 倍の高速化を実現します。この飛躍的な進歩により、デジタルスレッドの時代においてお客様にとって不可欠なより高速かつ高精度のシミュレーションが可能になります。」- Radioss Development and Altair Solvers HPC、シニアバイスプレジデント、Eric Lequiniou 氏

要求の厳しい SAP ワークロードにおいてパフォーマンスを 2 倍に向上させる M4 VM

Compute Engine の 99.95% のメモリ最適化単一インスタンス SLA に裏打ちされた M4 VM は、従来のメモリ最適化 M3 と比較して、コストパフォーマンスが最大 65%、SAP Application Performance Standard（SAPS）が 2.25 倍向上します。第 5 世代 Intel Xeon スケーラブルプロセッサを基盤とする M4 VM は、744 GB～3 TB のビジネスクリティカルなインメモリ SAP HANA ワークロードと SAP NetWeaver アプリケーションサーバーの認定 VM です。

ストレージ使用量の多いワークロード向けの Z3

データウェアハウス、SQL、NoSQL データベースなどの I/O 集約型ワークロード向けに、Z3 ストレージ最適化ファミリーに新しい Titanium SSD が搭載され、インスタンスあたり 3 TB～18 TB の 9 種類の新しい小型シェイプが提供されるようになりました。また、新たに導入されるストレージ最適化ベアメタルインスタンスは、最大 72 TB の Titanium SSD を搭載し、物理サーバー CPU への直接アクセスが可能です。プレビュー版にご興味がございましたら、こちらからご登録ください。

Nutanix Cloud Clusters が Google Cloud で利用可能に

新しい Z3-metal インスタンスを選択した Nutanix との提携により、Nutanix Cloud Clusters（NC2）on Google Cloud がリリースされます。Nutanix NC2 は、プライベートクラウドとパブリッククラウドのアプリ、データ、AI の実行、管理、運用を簡素化するハイブリッドクラウドプラットフォームです。NC2 の共通運用モデルにより、ワークロードを一貫した方法で簡単に管理できるため、お客様の Google Cloud への移行を加速させ、アプリのモダナイゼーションを支援します。詳細をご確認のうえ、公開プレビュー版にご登録ください。

「Nutanix Cloud Clusters on Google Cloud の限定公開プレビュー版を発表できることを嬉しく思います。これは、柔軟なハイブリッドクラウドソリューションを提供するという Nutanix の取り組みにおいて重要なマイルストーンとなります。Google Cloud の Z3 インスタンスタイプは、Nutanix がエンタープライズアプリケーションのパフォーマンスと復元力を高めるうえで最適な基盤です。Google Cloud とのパートナーシップにより、共通のお客様の選択肢が広がり、クラウドへの移行がよりシンプルになることを期待しています。」- Nutanix、プロダクト管理担当バイスプレジデント、Saveen Pakala 氏

クラウドで VMware 環境を最適化するためのオプションがさらに充実

Google Cloud VMware Engine は、既存の VMware 資産の Google Cloud へのリフト＆変革を行うための最も迅速な手段の一つです。このたび、18 のノードシェイプが追加され、VMware Engine v1 と v2 のノードシェイプの総数は 26 に増加しました。これは競合他社の 6 倍に相当します。これにより、お客様がワークロードのニーズに合わせて容量を調整し、TCO を最適化するために、業界で最も幅広いオプションが提供されます。

スケールと効率性の向上を実現するストレージとプラットフォームの機能

Google Cloud の第 4 世代のコンピューティング、ネットワーキング、ブロックストレージのポートフォリオは、高度に差別化された複数のテクノロジーを基盤として構築されています。Titanium は、特定用途向けのカスタムシリコンと複数層のスケールアウトオフロードからなるシステムであり、CPU の負荷を軽減することでパフォーマンス、信頼性、セキュリティを強化して、ワークロードの効率を最大限に高めます。上述の複数の発表で紹介されているように、Titanium は Google Cloud のコンピューティング、ストレージ、ネットワーキングの各サービスに統合されています。

また、先日の Titanium ML アダプタの更新により、NVIDIA ConnectX-7 ネットワークインターフェースカード（NIC）を安全に統合し、GPU 間の非ブロッキング帯域幅を 3.2 Tbps に引き上げられるようになりました。さらに、Titanium オフロードプロセッサについては GPU クラスタを Jupiter データセンターファブリックと統合し、クラスタのスケールを拡大しました。

Hyperdisk による次世代のブロックストレージ

Hyperdisk は、Google Cloud のワークロードに最適化された高パフォーマンスのブロックストレージです。費用効率と使いやすさに優れ、ワークロードの包括的なデータ保護機能を提供します。Hyperdisk ストレージプールは、容量とパフォーマンスを各ワークロードで個別に調整するなど、独自の機能によって、シンプロビジョニングとデータの削減を可能にし、TCO の削減と大規模な管理の簡素化を実現します。お客様が移行するワークロードのサイズ拡大に伴い、Google Cloud はストレージプールを拡張し、1 つのプールに最大 5 PiB のデータを保存できるようにしました。これは、従来の 5 倍のデータ量です。

さらに、Hyperdisk Exapools も導入されます。これは、特に大規模で要求の厳しい AI トレーニングワークロード専用に構築されたストレージプールの新しいバリアントです。Hyperdisk Exapools を使用すると、数エクサバイトの容量と 1 秒あたり数テラバイトのスループットを実現するブロックストレージをプロビジョニングして管理できます。また、シンプロビジョニングとデータ削減を活用して TCO を削減し、管理を簡素化することもできます。Exapools は、2025 年第 2 四半期（今四半期中）にプレビュー版として提供される予定です。

Hyperdisk ML には、GKE Volume Populator を使用した Cloud Storage からのハイドレート、最新の Compute Engine インスタンスへのアタッチ、Hyperdisk ML からのデータ読み込みの高速化による最新の TPU VM ファミリーでのトレーニング / 推論の実行などの新機能も追加されています。詳しくは、こちらの AI インフラストラクチャに関するブログ記事をご覧ください。

使用パターンに合わせてリソースを割り当て

マネージドインスタンスグループ（MIG）を使用することで、要求の厳しいコンピューティングタスクの効率性、柔軟性、制御性を高めることができます。MIG は、単一のエンティティとして管理できる仮想マシンの集合です。たとえば、複数の VM タイプを使用するように MIG を構成すると、需要が大きい期間や急速に増大する期間においても、容量が自動的に検出されます。また、事前初期化済み VM を含む MIG 内の停止または一時停止された VM を使用することで、費用を削減し、アプリケーションの起動を高速化できます。さらに、Vertex AI と Autopilot での確約利用割引（CUD）と予約の共有の導入により、インフラストラクチャを一度購入するだけで複数のサービスで利用できるようになりました。

最適化されたコンピューティングでイノベーションに投資

すべてのワークロードで最高のパフォーマンスと柔軟性を実現できるインフラストラクチャを提供することは、Google の最優先事項の一つです。汎用 VM から HPC、SAP、データベース向けの専用ソリューションまで、Google Cloud はお客様のニーズに合わせて、ワークロードに最適化されたソリューションを提供し、ビジネスが必要とするイノベーションの実現を支援します。ご不明な点がございましたら、こちらまでお問い合わせください。

-プロダクト管理担当シニアディレクター、Nirav Mehta
-Compute Engine、プロダクト管理担当ディレクター、Salil Suri

Colossus: Rapid Storage の高パフォーマンスを実現する秘密の要素

Fri, 02 May 2025 01:00:00 +0000

※この投稿は米国時間 2025 年 4 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Cloud Storage は、そのシンプルさとスケール性で人気の高いオブジェクトストレージサービスです。その大きな要素の一つは、データの読み書きに使用できるステートレス REST プロトコルです。しかし、AI の台頭と、データ集約型ワークロードの実行を検討するお客様の増加に伴い、レイテンシが高いこととファイル指向セマンティクスがないことが、オブジェクトストレージの使用を妨げる 2 つの大きな要因となっています。この問題に対処するため、Google は Google Cloud に Rapid Storage をリリースし、ステートフルな gRPC ベースのストリーミングプロトコルを追加しました。これにより、オブジェクトにデータを簡単に追加する機能が提供され、オブジェクトストレージの高い総スループットとスケーラビリティを維持しながら、ミリ秒未満の読み取り / 書き込みレイテンシを実現します。この投稿では、このアプローチを採用した理由とその方法、そしてこれによって実現可能な新しいタイプのワークロードについて、アーキテクチャの観点から説明します。

このアプローチでは、Colossus が鍵となります。Colossus は、Google のほぼすべてのプロダクトの基盤となる、Google の内部ゾーンクラスタレベルのファイルシステムです。最近のブログ投稿で説明したように、Colossus は、低レイテンシと大規模なスケーリングを実現する高度な SSD 配置手法により、Google の極めて要求の厳しいパフォーマンス重視のプロダクトをサポートしています。

Colossus のパフォーマンスを支えるもう一つの重要な要素は、そのステートフルプロトコルです。Rapid Storage は、Colossus のステートフルプロトコルの機能を Google Cloud のお客様に直接提供します。

aside_block: <ListValue: [StructValue([('title', 'Google Cloud を無料で試す'), ('body', <wagtail.rich_text.RichText object at 0x7f63380c5f70>), ('btn_text', '無料で開始'), ('href', 'https://console.cloud.google.com/freetrial?redirectPath=/welcome'), ('image', None)])]>

Colossus クライアントは、ファイルの作成または読み取りを行う際に、まずファイルを開いてハンドルを取得します。ハンドルには、ファイルのデータが保存されているディスクなど、ファイルの保存方法に関するすべての情報が含まれます。クライアントは、読み取りまたは書き込みの実行時にこのハンドルを使用して、最適化された RDMA のようなネットワークプロトコルを介してディスクに直接アクセスできます。これについては、以前に公開された Snap ネットワーキングシステムに関する論文で概説しています。

ハンドルは、超低レイテンシの永続的な追加をサポートするためにも使用できます。これは、要求の厳しいデータベースやストリーミング分析アプリケーションで非常に有益です。たとえば、Spanner と Bigtable はどちらもログファイルにトランザクションを書き込みますが、ログファイルは永続的なストレージを必要とし、データベース変更のクリティカルパス上にあります。同様に、BigQuery はテーブルへのストリーミングをサポートし、大規模に並列化されたバッチジョブは最近取り込まれたデータに対して計算を実行します。これらのアプリケーションは Colossus ファイルを追加モードで開き、アプリケーションで実行されている Colossus クライアントはハンドルを使用して、データベースの変更とテーブルデータをネットワーク経由で直接ディスクに書き込みます。Colossus は、データの永続性を保証するため、データを複数のディスクに複製します。書き込みは並列に行われ、クォーラム手法を使用してストラグラーを待機することによるレイテンシを回避します。

図 1: Colossus でファイルにデータを追加する手順。

上の図は、ファイルにデータを追加する手順を示しています。

アプリケーションがファイルを追加モードで開きます。Colossus Curator がハンドルを生成し、それをインプロセスで実行されている Colossus クライアントに送信します。クライアントはハンドルをキャッシュに保存します。
アプリケーションが、Colossus クライアントに対して、任意のサイズのログエントリへの書き込み呼び出しを発行します。
Colossus クライアントは、ハンドル内にあるディスクアドレスを使用して、ログエントリをすべてのディスクに並列に書き込みます。

Rapid Storage は Colossus のステートフルプロトコルに基づいて構築されており、基盤となるトランスポートとして gRPC ベースのストリーミングを利用しています。Rapid Storage オブジェクトに対して低レイテンシの読み取りと書き込みを実行する際、Cloud Storage クライアントはストリームを確立し、Cloud Storage の REST プロトコルで使用されるのと同じリクエストパラメータ（バケットやオブジェクト名など）を供給します。さらに、ユーザー認証やメタデータアクセスなどの時間のかかる Cloud Storage 操作はすべて、ストリーミングの作成時に先行ロードされて実行されるため、その後の読み取りと書き込みの操作は、Colossus に対して追加のオーバーヘッドなしで直接実行され、追加可能な書き込みと範囲が限定された繰り返し読み取りをミリ秒未満のレイテンシで実行することが可能となります。

この Colossus アーキテクチャにより、Rapid Storage は 1 つのバケットで 1 秒あたり 2,000 万件のリクエストをサポートできます。これは、さまざまな AI / ML アプリケーションで非常に有用な規模です。たとえば、モデルの事前トレーニングでは、データの準備が完了すると、ランダム化されたデータサンプルのセットが GPU または TPU にフィードされます。これらは通常、それぞれ数億から数十億のトークンを含む大きなファイルです。ただし、トレーニングが進むにつれて、異なるランダムサンプルが異なる順序で読み取られるなどの要因により、データが順次に読み取られることはほとんどありません。Rapid Storage のステートフルプロトコルを使用すると、トレーニングの実行の開始時にストリームが確立されてから、ミリ秒未満の速度で範囲が限定された読み取りが並列に大規模に実行されます。これにより、ストレージのレイテンシによってアクセラレータがブロックされるのを回避します。

追加の場合も同様に、Rapid Storage は Colossus のステートフルプロトコルを利用して、ミリ秒未満のレイテンシで永続的な書き込みを実現し、オブジェクトのサイズ制限まで 1 つのオブジェクトへの追加を無制限にサポートします。ステートフル追加プロトコルの主要な課題は、クライアントまたはサーバーがハングまたはクラッシュした場合にどのように処理するかです。Rapid Storage では、ストリームを作成するときに、クライアントが Cloud Storage からハンドルを受け取ります。ストリームが中断された場合でも、このハンドルを使用して新しいストリームを再確立することで、クライアントはオブジェクトに対して読み取りや追加を継続できます。これにより、このフローが合理化され、レイテンシによる影響を最小限に抑えられます。クライアントに問題があり、アプリケーションが新しいクライアントからオブジェクトへの追加を継続しようとする場合、複雑になります。これを簡略化するために、Rapid Storage では、一度に 1 つの gRPC ストリームのみがオブジェクトに書き込めるようにしています。新しいストリームがオブジェクトのオーナー権限を引き継ぎ、以前のストリームによるトランザクションをロックアウトします。最後に、各追加操作には書き込み先のオフセットが含まれるため、ネットワークパーティションやリプレイが発生しても、データの正確性が常に維持されます。

図 2: 新しいクライアントがオブジェクトのオーナー権限を引き継ぐ。

上の図では、新しいクライアントがオブジェクトのオーナー権限を取得し、以前のオーナーをロックアウトしています。

まず、クライアント 1 が 3 つのディスクに保存されているオブジェクトにデータを追加します。
アプリケーションがクライアント 2 にフェイルオーバーし、クライアント 2 がこのオブジェクトを追加モードで開きます。Colossus Curator が、各オブジェクトデータのレプリカのバージョン番号を増加させ、クライアント 1 によるトランザクションをロックアウトします。
クライアント 1 がオブジェクトにデータを追加しようとしても、そのオーナー権限は古いバージョン番号に関連付けられているため、追加できません。

Rapid Storage をアプリケーションにできる限り簡単に統合できるようにするため、Google は SDK も更新して、gRPC ストリーミングベースの追加をサポートし、シンプルなアプリケーション指向の API を公開できるようにしました。ハンドルを使用してデータを書き込むことは、ファイルシステムの世界では馴染みのあるコンセプトです。そこで Google は、Rapid Storage を Cloud Storage FUSE に統合し、低レイテンシのファイル指向ワークロードのために、クライアントが Cloud Storage バケットにファイルのようにアクセスできるようにしました。また、Rapid Storage では、ゾーンバケットタイプの一部として階層型名前空間をネイティブに有効化しており、パフォーマンスと整合性を強化し、フォルダ指向の API を提供しています。

まとめると、Rapid Storage は、ブロック型ストレージのミリ秒未満のレイテンシ、並列ファイルシステムのスループット、オブジェクトストレージのスケーラビリティと使いやすさを兼ね備えています。これらを実現するため、Colossus が主要な役割を果たしています。プレビュー期間中にお客様が試した興味深いワークロードをいくつかご紹介します。

AI / ML のデータ準備、トレーニング、チェックポインティング
分散データベースアーキテクチャの最適化
バッチ分析とストリーミング分析処理
動画のライブストリーミングとコード変換
ロギングとモニタリング

Rapid Storage の試用にご興味がある場合は、こちらからご登録いただくか、Google Cloud の担当者までお問い合わせください。

詳しくは、Google Cloud Next のブレイクアウトセッション「What’s new with Google Cloud’s Storage（Google Cloud のストレージに関する最新情報）」（BRK2-025）、「AI Hypercomputer: Mastering your Storage Infrastructure（AI Hypercomputer: ストレージインフラストラクチャをマスターする）」（BRK2-020）、「Under the Iceberg: Simple, unified Cloud Storage for analytics data lakes（水面下の氷山: 分析データレイク向けのシンプルで統合された Cloud Storage）」（BRK2-026）にご参加ください。

-ストレージ担当上級ソフトウェアエンジニア、Denis Serenyi
-ストレージ担当グループプロダクトマネージャー、Vivek Saraswat

Google Cloud でグローバルな科学的発見とイノベーションを実現

Fri, 25 Apr 2025 03:00:00 +0000

※この投稿は米国時間 2025 年 4 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

地球や宇宙の謎の解明から、医療研究や産業イノベーションの促進まで、科学的発見は私たちの生活のほぼあらゆる側面に影響を与えています。現在、科学の進歩は理論、実験、コンピューティングの相互作用に依存しており、最も重要な課題や困難な課題を解決するために、ハイパフォーマンスコンピューティング（HPC）などの高度なコンピューティング技術や手法がますます必要になってきています。

近年、AI は情報の評価と生成のための強力なツールとして台頭し、科学的発見、ビジネスイノベーション、生産性向上のための強力なツールにもなっています。最近では、量子コンピューティングの進歩により、従来のコンピュータでは手に負えないような問題を解決し、さらにはその解決までの時間を短縮できるという自信が高まっています。現在開発中の量子コンピュータにより、新薬や新素材の創出の促進、複雑な金融や物流のシナリオにおける費用とリスクの低減、より高性能な AI モデルの開発を可能にする大規模な生産システムが実現するでしょう。

Google のビジョンは、科学のための最も包括的で機能性に優れた、アクセスしやすいプラットフォームになることです。2008 年以来、Google Cloud は科学的発見を支援し、HPC クラスタを含むコンピューティング機能とデータストレージ機能を世界中の科学者、エンジニア、デベロッパーに提供してきました。そして今週から、新しい革新的な科学を実現し続けていくために、Google DeepMind と Google Research の優れた機能を Google Cloud の新しいインフラストラクチャと AI 機能に統合し、科学技術計算のための高機能なクラウド規模のツールを研究者に提供していきます。新機能は次のとおりです。

科学技術計算のためのスーパーコンピューティングクラスのインフラストラクチャ: AMD CPU を搭載した最新の H4D VM と、最新 NVIDIA GPU 搭載の A4/A4X VM によるスーパーコンピューティングクラスタをデプロイして利用できるようになりました。これらの VM には、スーパーコンピュータのようなスケーリングとパフォーマンスを実現する新しい低レイテンシネットワーキングが搭載されています。また、高性能ストレージ I/O 向けの Google Cloud Managed Lustre も発表します。これらのリソースにより、科学者は大規模で複雑な科学の問題に取り組めるようになります。
天気予報と生物学のための AI モデルを活用した高度な科学アプリケーション: 生物分子の構造と相互作用を予測する AlphaFold 3 と天気予報のための WeatherNext モデルという、AI を活用した初の科学アプリケーションをより広範な科学コミュニティ向けに提供します。
アイデアと発見を加速する AI エージェント: Google Agentspace に新たに追加された 2 つの AI エージェント「Deep Research」と「Idea Generation」は、包括的な研究レポートの作成と新しい科学的仮説の迅速な生成を支援します。

では、これらの新機能について詳しく見ていきましょう。

aside_block: <ListValue: [StructValue([('title', 'Google Cloud を無料で試す'), ('body', <wagtail.rich_text.RichText object at 0x7f631ba93e50>), ('btn_text', '無料で開始'), ('href', 'https://console.cloud.google.com/freetrial?redirectPath=/welcome'), ('image', None)])]>

科学分野向けのスーパーコンピューティングクラスのインフラストラクチャとツール

スーパーコンピュータは、非常に大規模な問題で最大のパフォーマンスを発揮するだけでなく、大規模な AI モデルをトレーニングできるように設計されています。科学と AI の進歩が続くなか、スーパーコンピューティングリソースへの迅速かつ容易なアクセスは不可欠です。

研究者は、第 5 世代 AMD EPYCTM プロセッサを使用した、Google の最も強力な CPU ベースの VM である新しい H4D VM（仮想マシン）をベースとして、Google Cloud でスーパーコンピューティングクラスの HPC クラスタをデプロイ、利用できるようになりました。H4D クラスタは、Google の Falcon と Titanium オフロードテクノロジーを活用したリモートダイレクトメモリアクセス（RDMA）ネットワーキングで接続されるため、HPC アプリケーションでの低レイテンシ通信を可能にします。RDMA 経由の標準メッセージパッシングライブラリを使用することで、H4D VM はアプリケーションを最大数万コアまで効率的にスケールでき、解決までの時間を短縮できます。H4D VM プレビュー版には、こちらからご登録いただけます。

ハーバード大学は、Google Cloud を使用して、赤血球や磁気制御人工細菌鞭毛（ABF）などの構造の大規模なシステムをシミュレートすることで心臓病の研究を進めており、人間の血管内の血栓や循環腫瘍細胞を攻撃して溶解する治療法の開発を目指しています。

「Google の新しい H4D ベースのクラスタの機能により、1 兆個に近い粒子のシステムをシミュレートする態勢が整い、これにより循環機能や循環器疾患に関する前例のない分析情報を引き出せるようになります。このコンピューティング能力の飛躍的な向上により、画期的な治療法の追求が劇的に加速し、心臓病における血管損傷に対して効果的な精密治療に近づくことができるでしょう。」- ハーバード大学、Petros Koumoutsakos 教授

Koumoutsakos 教授の研究では、循環腫瘍細胞を捕捉するように設計されたマイクロ流体デバイス内を流れる血液のシミュレーションが行われています。

最近発表された A4 および A4X VM をベースにした HPC クラスタも、Google の科学的発見のポートフォリオにおける重要なコンポーネントです。NVIDIA の最新 HGX B200 GPU を搭載した A4 VM は、複数の科学技術計算アプリケーションに対応する汎用性の高い強力なツールであり、直接数値シミュレーションや AI トレーニングに優れたパフォーマンスを提供します。A4X VM は、NVIDIA GB200 NVL72 GPU によって高速化されており、最も要求の厳しい超大規模 AI ワークロードのトレーニングとサービングに特化して設計されています。

これらの GPU 搭載 VM を使用したクラスタは、イノベーションの新境地である量子コンピューティングにも対応できる、スーパーコンピューティングクラスのパフォーマンスを実現します。将来的には、量子コンピューティングシステムにより、科学者は従来の最も強力なスーパーコンピュータでも解決できない問題を解決できるようになるでしょう。一方、A シリーズ VM をベースとする HPC クラスタは、量子シミュレーションのソリューションブループリントを使用して大規模な量子回路をシミュレートすることで、将来の量子コンピュータの設計や量子アルゴリズムの最適化に活用できます。

たとえば、Google Research の Quantum AI チームは、Google Cloud を活用して量子ハードウェアの複雑なデバイス物理をシミュレートし、高度なハイブリッド量子古典アルゴリズムの開発や新しい量子アルゴリズムの探索、テストを行っています。この堅牢なシミュレーション環境は、要求の厳しい量子研究ワークフローに不可欠なパフォーマンスとスケーラビリティを提供することで、科学の躍進に貢献しています。

「Google Cloud の新しい GPU ベースのスーパーコンピュータで、深さ 30 の 43 量子ビット回路をシミュレートしたところ、優れたスケーラビリティが確認できました。これらの結果は、研究者がより大規模で深い量子回路を開発、テストできる可能性を明確に示しており、量子アルゴリズムのパフォーマンスを理解し、現在の量子コンピュータの応用に向けた進歩を加速させるうえで重要なものです。」- Google Quantum AI、コンピュータサイエンス担当ディレクター、Sergio Boixo

HPC クラスタでは、コンピューティングパフォーマンスが低下しないように高い I/O パフォーマンスが求められます。DataDirect Networks と共同で開発し、EXAScaler テクノロジーをベースとした新しい Google Cloud Managed Lustre ストレージサービスは、スーパーコンピューティング規模のアプリケーションに必要な I/O パフォーマンスを提供します。Google Cloud Managed Lustre は、HPC と AI アプリケーション向けに最適化された、高パフォーマンスでフルマネージドの並列ファイルシステムを提供します。ペタバイト規模の容量と最大 1 TB/秒のスループットを発揮する Managed Lustre は、研究者が科学的発見を推進するために必要な I/O パフォーマンスを確実に提供します。Managed Lustre のプレビュー版へのアクセスをリクエストする場合は、Google アカウント担当者までお問い合わせください。

AI モデルを活用した高度な科学アプリケーション

Google は先日、Google Cloud 上で研究者や企業向けに AI を活用した初の科学アプリケーションを発表しました。画期的な分子構造と相互作用の予測モデルである AlphaFold 3 と、天気予報モデルの WeatherNext です。

Google DeepMind と Isomorphic Labs が開発した AlphaFold 3 は、生命を構成するあらゆる分子の構造と相互作用をかつてない精度で予測する能力により、生物学に革命をもたらしています。分子構造とその相互作用を理解することで、研究者は人間の健康と疾患における複雑な相互作用をより深く理解できるようになります。AlphaFold 3 は現在、Google Cloud 上で非営利目的での利用が可能です。

「Google Cloud で AlphaFold の科学的機能を利用することで、研究であらゆる生物分子クラスの構造と相互作用を迅速に予測し、調査できるようになります。この機能の変化により、疾患への理解が加速し、治療について仮説を立てることが可能になります。」- Broad Institute、Ladders to Cures Accelerator シニアグループリーダー、Sumaiya Iqbal 氏

ユーザーをさらにサポートするため、Cluster Toolkit 経由でデプロイ可能な新しい高スループットソリューションで AlphaFold 3 へのアクセスを簡素化しています。このターンキーソリューションにより、インフラストラクチャを自動スケーリングすることで費用を最小限に抑えながら、数百から数万のシーケンスを効率的にバッチ処理できます。

天気予報の分野では、Google DeepMind と Google Research の WeatherNext モデルが AI を使用して高速かつ正確な天気予報を提供しており、最近、BigQuery と Earth Engine で WeatherNext AI によるライブ予報をリリースしました。このたび、Google Cloud の Vertex AI Model Garden を介して WeatherNext AI モデルにアクセスし、エネルギー予測、ロジスティクス、農業、リスク管理などのためにこれらの高度なモデルをカスタマイズしてデプロイできるようになりました。

より高速で正確な天気予報モデルに、より簡単かつ手頃な価格でアクセスできるようになることで、研究者はより多くのシナリオを研究でき、組織は熱波、洪水、ハリケーンなどの気象現象に備えてインフラストラクチャ、人員、サプライチェーン、コミュニティへの影響を軽減できるようになります。

Google Earth Engine で可視化された WeatherNext Graph の予測（2023 年 9 月 8 日時点の風速、風向、降水量の予測を表示）。ここでは、大西洋上を進むハリケーン Lee の予測進路が示されています。

たとえば、Carrier は、ホームエネルギーマネジメントシステム（HEMS）の一環として Google Cloud の WeatherNext AI モデルを活用し、電力網の柔軟性を高め、よりスマートなエネルギー管理の実現を計画しています。WeatherNext AI モデルがデプロイされれば、HEMS がエネルギーの流れをインテリジェントに管理してくれるようになると期待されています。電力網の状況、エネルギー需要、天気予報に基づいてエネルギーの充電、放電、再配分をリアルタイムで行うことで、よりバランスのとれたサステナブルな電力網の構築に貢献します。

AI を究極の研究パートナーとして活用

Google の情報、生産性、高度な AI ツールからなる堅牢なエコシステムは、長年にわたり科学研究を推進し、研究者に情報と知見を提供してきました。Google Scholar は、膨大な科学文献を検索し、関連する出版物を探して追跡するために欠かせないリソースです。そして Gemini は、高度な科学的、技術的コンテンツから情報を統合し、要約して説明することができます。また、AI を活用したリサーチアシスタントである NotebookLM は、選択した研究論文やデータセットをインテリジェントに処理して要約し、文献レビューを大幅に加速して重要な情報を抽出します。

今回、Agentspace に 2 つの新しい AI エージェントが追加されました。これらのエージェントは、科学研究をさらに加速させ、仮説の生成に革命をもたらす可能性を秘めています。Deep Research は、社内外の情報源から情報を統合して詳細な調査レポートを生成することで、何時間にも及ぶ調査を大幅に短縮します。Idea Generation は、アイデアを生み出し、それらを相互にテストして最良の仮説を見つける AI エージェントによって斬新なアイデアを迅速に開発できるようサポートします。

科学者は、Google Cloud 上の AI Studio と Vertex AI を活用して、カスタマイズされた AI アプリケーションや高度な ML ワークフローを開発することもできます。また、Gemini 2.0 モデルと同じ研究とテクノロジーに基づいて構築された、軽量かつ最先端のオープンモデルコレクションである Gemma 3 も先日発表しました。これらは、Google がこれまで開発した中で最も高度で、責任をもって開発された移植可能なオープンモデルであり、ローカルデバイス上で科学アプリケーションを作成するために使用できます。最後に、Vertex AI Agent Engine を活用した Google Research の Geospatial Reasoning フレームワークは、科学者やアナリストが新しい地理空間基盤モデルと生成 AI を通じて、世界に関する強力な分析情報を引き出せるようにしてくれます。

今とこれからの科学変革を実現

これらの新しい高度なインフラストラクチャ、AI アプリケーション、AI 生産性向上テクノロジーを組み合わせ、あらゆる種類のコンピュータサイエンスの研究にクラウド規模の新たな科学的機能を実現します。Google の発見、コラボレーション、生産性向上ツールと組み合わせることで、科学者や研究者にクラウドを活用した包括的な科学的機能を提供しています。

オープンサイエンスの計算研究における主要研究所であるアルゴンヌ国立研究所（ANL）は、Google Cloud と協力して、高度なコンピューティングテクノロジーと AI ツールにより、科学者やエンジニアがこれまで以上に迅速に画期的な発見を得られるようにする方法を模索しています。このコラボレーションを通じて、ANL は計算研究に Google Cloud ソリューションを使用して評価を行い、スーパーコンピューティング規模の科学における Google Cloud の設計、パフォーマンス、有用性をさらに向上させるためのフィードバックとガイダンスを提供する予定です。

「ビジネスと社会を推進する科学的発見とイノベーションを加速させるには、強力なコンピューティング機能へのアクセスが不可欠です。私たちは Google Cloud と連携して、包括的なグローバル規模の AI および HPC インフラストラクチャ、ソフトウェアテクノロジー、AlphaFold 3 などの AI 搭載アプリケーションを活用したいと考えています。アルゴンヌ国立研究所と Google Cloud のコラボレーションによって、イノベーションが効果的に推進され、世界を変える発見が可能になるでしょう。そしてこれらの機能は世界中の研究者に提供されます。」- アルゴンヌ国立研究所、コンピューティング、環境、ライフサイエンス担当副所長、Rick Stevens 氏

世界最大の課題を解決するために、科学的発見がこれまで以上に重要になっています。Google は、科学的発見とイノベーションを可能にする高度なコンピューティングテクノロジーを構築しており、これらの機能がすべて Google Cloud に統合されています。

研究者のお客様は、研究者向け Google Cloud のクレジットやトレーニングなどを本日からすぐにご利用いただけます。Google Cloud が科学的研究と発見の進展にどのように貢献しているかについて最新情報を入手し、詳細を学ぶには、Google Cloud 高度コンピューティングコミュニティにぜひご参加ください。

-Google、ハイパフォーマンスコンピューティング担当ディレクター兼チーフテクノロジスト、Bill Magro

-Google DeepMind、グループプロダクトマネージャー、Gemma Jennings

H4D VM: 次世代の HPC 最適化 VM

Fri, 25 Apr 2025 01:04:00 +0000

※この投稿は米国時間 2025 年 4 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

Google は、Google Cloud Next で、ハイパフォーマンスコンピューティング（HPC）向けの最新のマシンタイプである H4D VM を発表しました。H4D VM は、既存の HPC サービスを基盤として、製造、天気予報、EDA、医療、ライフサイエンスなどの業界における、要求の厳しいワークロードに対して進化するニーズに対応するように設計されています。

H4D VM は第 5 世代 AMD EPYC^TM プロセッサを搭載しており、ノード全体の VM パフォーマンスは 12,000 GFLOPS 以上、メモリ帯域幅は 950 GB/s 以上と向上しています。H4D は、Titanium 上で Cloud リモートダイレクトメモリアクセス（RDMA）を使用して低レイテンシと 200 Gbps のネットワーク帯域幅を実現する、Google 初の CPU ベースの VM です。この強力な組み合わせにより、HPC ワークロードを効率的にスケールし、より迅速に分析情報を取得できます。

世代間の改善率を示す、H4D と C2D / C3D の VM とコアのパフォーマンス、メモリ帯域幅の比較

スーパーコンピュータの浮動小数点演算能力を測定するために広く使用されているベンチマークであるオープンソースの High-Performance Linpack（OSS-HPL）において、H4D は C3D と比較して VM あたり 1.8 倍、コアあたり 1.6 倍のパフォーマンスを実現します。さらに、H4D は C2D と比較して、VM あたりのパフォーマンスが 5.8 倍、コアあたりのパフォーマンスが 1.7 倍向上しています。

メモリ帯域幅を測定するベンチマークである STREAM Triad では、H4D は C3D と比較して VM あたりのパフォーマンスが 1.3 倍、コアあたりのパフォーマンスが 1.4 倍向上しています。さらに、H4D は C2D と比較して、VM あたりのパフォーマンスが 3 倍、コアあたりのパフォーマンスが 1.4 倍向上しています。

aside_block: <ListValue: [StructValue([('title', '300 ドル分の無料クレジットで Google Cloud インフラストラクチャを試用'), ('body', <wagtail.rich_text.RichText object at 0x7f63388952e0>), ('btn_text', '無料で構築を始める'), ('href', 'http://console.cloud.google.com/freetrial?redirectPath=/compute'), ('image', None)])]>

HPC アプリケーションのパフォーマンスの向上

H4D VM は、C2D や C3D などの前世代の AMD ベースの VM を大幅に上回るコンピューティング性能とメモリ帯域幅を実現し、シミュレーションと分析の高速化を可能にします。また、以下に示したさまざまな HPC アプリケーションやベンチマークでパフォーマンスを大幅に向上させます（前世代の AMD ベースの HPC VM、C2D との比較）。

製造

Siemens^TM Simcenter STAR-CCM+^TM/HIMach などの CFD アプリでは、最大 3.6 倍 の改善が見られます。
Ansys Fluent/f1_racecar_140 などの CFD アプリでは、最大 3.6 倍の改善が見られます。
Altair Radioss/T10m などの陽解法 FEA アプリでは、最大 3.6 倍の改善が見られます。
OpenFoam/Motorbike_20m などの CFD アプリでは、最大 2.9 倍の改善が見られます。
Ansys Mechanical/gearbox などの陰解法 FEA アプリでは、最大 2.7 倍の改善が見られます。

医療、ライフサイエンス

分子動力学（GROMACS）では最大 5 倍の改善が見られます。

天気予報

業界標準のベンチマーク WRFv4 では、最大 3.6 倍の改善が見られます。

図 2: C2D に対する H4D、C3D、C2D の単一 VM HPC アプリケーションのパフォーマンス（高速化）アプリケーションは、すべてのコアを使用して単一の VM で実行されました。

「Google Cloud との緊密な連携により、次世代のクラウドベース HPC が実現し、新しい H4D VM の発表にいたりました。Google Cloud は、第 5 世代の AMD EPYC CPU の進化したアーキテクチャを活用し、前世代と比較してさまざまな HPC ベンチマークで大幅なパフォーマンス向上を実現するサービスを構築しました。これにより、お客様は迅速に分析情報を取得し、最も要求の厳しい HPC ワークロードを高速化できます。」- AMD、クラウドビジネス担当コーポレートバイスプレジデント、Ram Peddibhotla 氏

Titanium 上の Cloud RDMA による HPC の高速化

H4D のパフォーマンスは、Cloud RDMA によって実現されます。これらの VM で初めて利用可能となった新しい Titanium オフロードが Cloud RDMA です。Cloud RDMA は、計算流体力学、気象モデリング、分子動力学など、ノード間通信に大きく依存する HPC ワークロードをサポートするように特別に設計されています。ネットワーク処理をオフロードすることで、予測可能な低レイテンシの高帯域幅の通信をコンピューティングノード間で提供し、ホスト CPU のボトルネックを最小限に抑えます。

Cloud RDMA は、イーサネットベースのデータセンターネットワークを介した信頼性の高い低レイテンシの通信のために、Google の革新的な Falcon ハードウェアトランスポートを使用しています。これにより、イーサネット経由の RDMA の従来の課題を効果的に解決し、予測可能な大規模な高パフォーマンスを実現します。

Falcon 経由の Cloud RDMA は、より多くのコンピューティングリソースを効率的に利用することで、シミュレーションを高速化します。たとえば、並列処理に基本的な制限があり、一般に高速化が困難な OpenFoam/motorbike_20m や Simcenter Star-CCM+/HIMach10 のような小規模な CFD 問題では、H4D は 4 台の VM で TCP と比較してそれぞれ 3.4 倍、1.9 倍の高速化を実現します。

図 3: 左: OpenFoam/Motorbike_20m は、4 台の VM で TCP 上の H4D Cloud RDMA を使用して 3.4 倍の改善を実現。右: Simcenter STAR-CCM+/HIMach10 は、4 台の VM で TCP 上の H4D Cloud RDMA を使用して 1.9 倍の改善を実現。

大規模なモデルの場合、Falcon は強力なスケーリングの維持にも役立ちます。32 台の VM を使用して、Falcon は GROMACS/Lignocellulose では TCP 上で 2.8 倍、WRFv4/Conus 2.5km では 1.3 倍の高速化を達成しました。

図 4: 左: GROMACS/Lignocellulose は、32 台の VM で TCP 上の H4D Cloud RDMA を使用して 2.8 倍の改善を実現。右: WRFv4/Conus 2.5km は、32 台の VM で TCP 上の H4D Cloud RDMA を使用して、1.3 倍の改善を実現。

クラスタ管理とスケジューリング機能

H4D VM は、Dynamic Workload Scheduler（DWS）と Cluster Director（旧称 Hypercompute Cluster）の両方をサポートします。

DWS は、HPC ワークロードをスケジュールして最適なパフォーマンスと費用対効果を実現し、時間的制約のあるシミュレーションと柔軟な HPC ジョブのリソースの可用性を高めます。

物理的に同じ場所に配置された大規模なアクセラレータクラスタを単一のユニットとしてデプロイしてスケールできる Cluster Director の機能が HPC 環境に拡張されました。Cluster Director を使用すると、研究者は大規模なシミュレーションを簡単に設定して実行できるため、H4D VM 上の複雑な HPC クラスタのデプロイと管理が簡素化されます。

VM サイズとリージョンの可用性

H4D VM は、標準構成と高メモリ構成の両方で提供され、多様なワークロードの要件に対応できます。また、CPU ベースの地震処理や構造力学のアプリケーション（例: Abaqus、NASTRAN、Altair OptiStruct、Ansys Mechanical）のように高速ストレージが求められるワークロード用にローカル SSD を使用したオプションも用意しています。

VM	コア数	メモリ	ローカル SSD
h4d-highmem-192-lssd	192	1488	3.75 TB
h4d-standard-192	192	720	なし
h4d-highmem-192	192	1488	なし

H4D VM は現在、us-central1-a（アイオワ）と europe-west4-b（オランダ）でご利用いただけます（他のリージョンでも提供予定）。

お客様とパートナー様の声

「Google の新しい H4D ベースのクラスタの機能により、1 兆個に近い粒子のシステムをシミュレートする態勢が整い、循環機能や循環器疾患に関する前例のない分析情報を引き出せるようになります。このコンピューティング能力の飛躍的な向上により、画期的な治療法の確立に向けた取り組みが劇的に加速し、心臓病における血管損傷への効果的な精密治療へさらに近づくことができるでしょう。」- ハーバード大学、科学技術コンピューティング分野教授、Petros Koumoutsakos 氏

「Google Cloud の H4D プラットフォームのリリースにより、エンジニアリングシミュレーションは大きく前進しました。GCP 初のイーサネット経由の RDMA を搭載した VM であり、より高いメモリ帯域幅、大容量の L3 キャッシュ、AVX-512 命令のサポートを組み合わせることで、H4D は C2D VM と比較して、Ansys Fluent シミュレーションのパフォーマンスが最大 3.6 倍向上します。このパフォーマンスの向上により、お客様はシミュレーションをより高速に実行し、幅広い設計オプションを検討して、効率的にイノベーションを推進できるようになります。」- Ansys、パートナープログラム担当シニアディレクター Wim Slagter 氏

「第 5 世代 AMD EPYC™ を搭載した Google H4D VM の、前世代と比べたパフォーマンス向上は実に驚くべきものです。Altair® Radioss® は、自動車事故の分析など、コンピューティング負荷が高く、高度に非線形なシミュレーションにおいて、驚異的な 3.6 倍の高速化を実現します。この飛躍的な進歩により、デジタルスレッドの時代においてお客様にとって不可欠なより高速かつ高精度のシミュレーションが可能になります。」- Radioss Development and Altair Solvers HPC、シニアバイスプレジデント、Eric Lequiniou 氏

「第 5 世代 AMD EPYC プロセッサと Cloud RDMA を搭載した最新の H4D VM を使うことで、お客様は Simcenter STAR-CCM+ のシミュレーション時間を短縮できます。HIMach10 では、C2D インスタンスと比較して最大 3.6 倍のパフォーマンス向上が見られ、4 台の H4D Cloud RDMA VM では TCP と比較して 1.9 倍の高速化が実現しています。Google とのパートナーシップは、シミュレーション時間を短縮するうえで不可欠でした。」- Siemens、Simcenter ソリューションドメインプロダクトマネジメント担当バイスプレジデント、Lisa Mesaros 氏

試してみる

HPC ワークロードでより迅速に結果を得られるよう、お客様が H4D VM をご活用くださることを楽しみにしています。こちらのフォームに記入してプレビュー版にお申し込みください。

-プロダクトマネージャー、Aysha Keen
-シニア HPC テクノロジスト、Felix Schürmann

Parallelstore の一般提供が始まり、次世代の AI と HPC のワークロードを推進する

Thu, 17 Oct 2024 01:00:00 +0000

※この投稿は米国時間 2024 年 10 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。

多くの組織は、人工知能（AI）とハイパフォーマンスコンピューティング（HPC）アプリケーションを使用して、膨大なデータセットを処理し、複雑なシミュレーションを実行しています。また何十億ものパラメータを持つ生成モデルをトレーニングして、LLM、ゲノム解析、定量分析、リアルタイムのスポーツ分析など多様なユースケースに対応しています。このようなワークロードは、ストレージシステムのパフォーマンスに大きな負荷をかけます。何千個ものクライアントが同じ共有ファイルを同時に読み書きする場合にも、レイテンシをミリ秒以下に抑えながら、スケーリング可能な高スループットと I/O パフォーマンスが求められるのです。

このような次世代 AI と HPC のワークロードを強化するために、Google Cloud Next 2024 にて Parallelstore を発表しました。そしてこのたび、Parallelstore の一般提供開始をお知らせすることになりました。Parallelstore は Distributed Asynchronous Object Storage（DAOS）アーキテクチャを構築基盤とし、完全な分散型メタデータと Key-Value アーキテクチャを組み合わせることで、高パフォーマンスのスループットと IOPS を実現します。

ここでは、Parallelstore がどのように AI と HPC の複雑なワークロードニーズに応えるのかをお伝えします。グッドプットと GPU / TPU 使用率の最大化、Parallelstore へのプログラムによるデータ出入力、Google Kubernetes Engine と Compute Engine のリソースのプロビジョニングについて、知識を深めましょう。

グッドプットと GPU / TPU 使用率を最大化する

従来の並列ファイルシステムのパフォーマンス上の限界を打破するために、Parallelstore では分散型のメタデータ管理システムと Key-Value ストアアーキテクチャを採用しています。Parallelstore の高スループット並列データアクセスは、レイテンシと I/O ボトルネックを最小限に抑え、各コンピューティングクライアントのネットワーク帯域幅を飽和状態にします。効率的にデータを配信することで、GPU / TPU へのグッドプット（AI ワークロードのコスト最適化に欠かせない要素）を最大化できるのです。Parallelstore は、数千もの VM、GPU / TPU に継続的な読み取り / 書き込みアクセスを提供し、規模の小さなものから大規模なものまで、AI と HPC のさまざまなワークロード要件を満たします。

100 TiB のデプロイ（Parallelstore の最大デプロイ量）であれば、スループットは 115 GiB/秒まで、読み取り IOPS は 300 万回まで、書き込み IOPS は 100 万回までのスケーリングが可能で、レイテンシは 0.3 ミリ秒まで下げられます。つまり Parallelstore は、小規模ファイルにも、大量のクライアントからのランダムな分散アクセスにも適したプラットフォームであるということです。AI ユースケースの場合、小規模ファイルとメタデータオペレーションを使用した Parallelstore のパフォーマンスにより、ネイティブな ML フレームワークのデータローダと比較してトレーニング時間が最大 3.9 倍高速化し、トレーニングスループットが最大 3.7 倍向上します（Google Cloud ベンチマークによる測定）。

プログラムで Parallelstore へのデータ出入力を行う

多くの AI と HPC のワークロードで使用するデータは、準備とアーカイブのために Cloud Storage に保存されています。データを Parallelstore にインポートして処理するには、Parallelstore のインポート / エクスポート統合 API をご利用ください。データの移動を自動化できます。この API を使用すると、32 MB を超えるファイルは 20 GB/秒、32 MB 以下のファイルは 5,000 ファイル/秒の速さで、Cloud Storage の大規模なデータセットを Parallelstore に取り込むことができます。

code_block: <ListValue: [StructValue([('code', 'gcloud alpha parallelstore instances import-data $INSTANCE_ID\r\n--location=$LOCATION --source-gcs-bucket-uri=gs://$BUCKET_NAME\r\n[--destination-parallelstore-path="/"] --project= $PROJECT_ID'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631b6aad00>)])]>

AI トレーニングジョブまたは HPC ワークロードが完了すると、結果をプログラムで Cloud Storage にエクスポートして、評価を進めたり長期保存したりすることができます。API 経由でデータ移転を自動化し、手動の介入を最小限に抑えてデータパイプラインを能率化することも可能です。

code_block: <ListValue: [StructValue([('code', 'gcloud alpha parallelstore instances export-data $INSTANCE_ID --location=$LOCATION --destination-gcs-bucket-uri=gs://$BUCKET_NAME\r\n[--source-parallelstore-path="/"]'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631b6aa250>)])]>

CSI ドライバを使用して GKE リソースをプログラムでプロビジョニングする

Parallelstore の GKE CSI ドライバを使用すると、コンテナ化されたワークロード用の高性能ストレージを効率的に管理しやすくなります。Parallelstore ファイルシステムを永続ボリュームとして動的にプロビジョニングおよび管理できるほか、Kubernetes ワークロードにある既存の Parallelstore インスタンスにアクセスできます。これらの操作は、使い慣れた Kubernetes API を使用して GKE クラスタ内で直接実行します。これにより、別のストレージシステムを習得して管理する必要性が低減し、リソースの最適化と TCO の削減に注力できます。

code_block: <ListValue: [StructValue([('code', 'apiVersion: storage.k8s.io/v1\r\nkind: StorageClass\r\nmetadata:\r\n name: parallelstore-class\r\nprovisioner: parallelstore.csi.storage.gke.io\r\nvolumeBindingMode: Immediate\r\nreclaimPolicy: Delete\r\nallowedTopologies:\r\n- matchLabelExpressions:\r\n - key: topology.gke.io/zone\r\n values:\r\n - us-central1-a'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631b6aa700>)])]>

今後数か月で、フルマネージドの GKE Volume Populator を介して Cloud Storage からデータをプリロードできるようになります。これにより、PersistentVolumeClaim プロビジョニングのプロセス中、Cloud Storage から Parallelstore への直接的なデータのプリロードが自動で行われるようになります。これによりトレーニングデータの即時利用が可能になり、コンピューティングリソースがアイドル状態となる時間を最小限に抑えるとともに、GPU / TPU の使用率を最大まで高めることができます。

Cluster Toolkit を使用して Compute Engine リソースをプログラムでプロビジョニングする

Cluster Toolkit のサポートがあれば、Compute Engine 用の Parallelstore インスタンスをデプロイするのは簡単です。Cluster Toolkit（以前の Cloud HPC Toolkit）は、HPC と AI のワークロードをデプロイするためのオープンソースソフトウェアです。Cluster Toolkit は、ベストプラクティスに従ってクラスタ / ワークロード用のコンピューティング、ネットワーク、ストレージのリソースをプロビジョニングします。ブループリントを 4 行だけ変更して Parallelstore モジュールを組み込めば、今日から Cluster Toolkit をご利用いただけます。便利なスターターブループリントも用意しています。Cluster Toolkit に加えて、Terraform テンプレートもご利用ください。これは、Parallelstore をデプロイしてコードによるオペレーションとプロビジョニングをサポートするほか、手動によるオペレーションのオーバーヘッドを最小限に抑えます。

code_block: <ListValue: [StructValue([('code', 'resource "google_parallelstore_instance" "instance" { \r\ninstance_id = "instance" \r\nlocation = "us-central1-a" \r\ndescription = "test instance" \r\ncapacity_gib = 12000 \r\nnetwork = google_compute_network.network.name \r\nfile_stripe_level = "FILE_STRIPE_LEVEL_MIN" \r\ndirectory_stripe_level = "DIRECTORY_STRIPE_LEVEL_MIN" \r\nlabels = { \r\ntest = "value" \r\n} \r\nprovider = google-beta \r\ndepends_on = [google_service_networking_connection.default] \r\n} \r\n\r\nresource "google_compute_network" "network" { \r\nname = "network" \r\nauto_create_subnetworks = true \r\nmtu = 8896 \r\nprovider = google-beta \r\n} \r\n\r\n# Create an IP address \r\nresource "google_compute_global_address" "private_ip_alloc" { \r\nname = "address" \r\npurpose = "VPC_PEERING" \r\naddress_type = "INTERNAL" \r\nprefix_length = 24 \r\nnetwork = google_compute_network.network.id \r\nprovider = google-beta \r\n} \r\n\r\n# Create a private connection \r\nresource "google_service_networking_connection" "default" { \r\nnetwork = google_compute_network.network.id \r\nservice = "servicenetworking.googleapis.com"\r\nreserved_peering_ranges = [google_compute_global_address.private_ip_alloc.name] \r\nprovider = google-beta \r\n}'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631b6aa340>)])]>

現実世界への影響: Respo.vision は Parallelstore で新たな可能性を開拓する

スポーツ映像分析を牽引する Respo.Vision は、リアルタイムシステムに Parallelstore を活用し、4K 動画から 8K 動画へのアップグレードを促進しています。Parallelstore をトランスポート層として使用することで、細かいデータマーカーをキャプチャして、それにラベルを付け、コーチ、スカウト、ファンに実用的な分析情報を提供するのに役立ちます。Respo.vision は、Parallelstore を活用してコンピューティングのレイテンシを低く抑えながら、高額なインフラに投資することなく、急増する高パフォーマンス動画を処理できました。

「当社の目標は、8K 動画ストリームを 25 フレーム/秒で処理し、お客様に高品質なスポーツ分析データを提供することでした。Parallelstore は必要量を難なく処理し、0.3 ミリ秒という見事な読み取りレイテンシを実現することで、期待以上の成果を上げてくれました。当社システムへの統合も非常にスムーズで、Parallelstore の分散性によりシステムのスケーラビリティと復元力が大幅に向上しています。」 - Respo.vision、CTO、Wojtek Rosinski 氏

HPC と AI の利用は急速に拡大しています。革新的なアーキテクチャやパフォーマンスを組み合わせ、Cloud Storage、GKE、Compute Engine と統合した Parallelstore は、困難な GPU / TPU とワークロードの対応に欠かせないストレージソリューションです。Parallelstore の詳細についてはドキュメントをご確認いただき、セールスチームにお問い合わせください。

— プロダクト マネージャー Barak Epstein

— プロダクト マネージャー Chinmayee Rathi

最適化された Intel MPI によって Google Cloud の HPC パフォーマンスが向上

Mon, 19 Aug 2024 02:00:00 +0000

※この投稿は米国時間 2024 年 8 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。

ハイパフォーマンスコンピューティング（HPC）は、さまざまな業界におけるイノベーションの推進において中心的な役割を果たしています。シミュレーションを通じて、製品設計サイクルの加速、製品の安全性の向上、タイムリーな気象予測の提供、AI 基盤モデルのトレーニングの遂行、分野を超えた科学的発見の促進など、さまざまなことを実現しています。HPC なら、緊密にオーケストレーションされ Message Passing Interface（MPI）を介して通信を行う多数のコンピューティング要素、サーバー、仮想マシンにより、こうした計算負荷の高い問題に対処できます。このブログ投稿では、Intel® MPI ライブラリを使用することで、Google Cloud 上の HPC のパフォーマンスがどのように改善されたかについてご紹介します。

Google Cloud は、HPC ワークロードにとって理想的な H3 コンピューティング最適化 VM など、要求の厳しいワークロードに対応する幅広い VM ファミリーを提供しています。これらの VM は、高度なネットワークオフロードなどの機能を実現する Google の Titanium テクノロジーを採用しており、Intel のソフトウェアツールによる最適化を通じて、コンピューティング、ネットワーキング、ストレージにおける最新のイノベーションを一つのプラットフォームに集約しています。H3、C3、C3D、A3 などの第 3 世代 VM では、Intel Infrastructure Processing Unit（IPU）E2000 によって CPU から専用デバイスにネットワーキングをオフロードすることで、安全性を確保しながら低レイテンシの 200G イーサネットを実現しています。さらに、Intel MPI ライブラリによる Titanium の統合型サポートにより、分子動力学、計算地球科学、気象予測、フロントエンドとバックエンドの電子設計自動化（EDA）、コンピュータ支援エンジニアリング（CAE）、数値流体力学（CFD）などの HPC ワークロードにネットワークオフロードのメリットがもたらされます。Intel MPI ライブラリの最新バージョンは、Google Cloud の HPC VM イメージに組み込まれています。

第 3 世代 VM と Titanium 向けに最適化された MPI ライブラリ

Intel MPI ライブラリは、MPI API 標準を実装するマルチファブリックメッセージパッシングライブラリです。これは、オープンソースの MPICH プロジェクトに基づく商用グレードの MPI 実装で、OpenFabrics インターフェース（OFI、別名: libfabric）を使用してファブリック固有の詳細な通信情報を取り扱います。さまざまな libfabric プロバイダが用意されており、それぞれがファブリックとプロトコルのさまざまな組み合わせに最適化されています。

Intel MPI ライブラリのバージョン 2021.11 では、特に PSM3 プロバイダが改善されており、Intel IPU E2000 を含む Google Cloud 環境向けの PSM3 プロバイダと OFI/TCP プロバイダのチューニングが提供されています。また、第 4 世代 Intel Xeon スケーラブルプロセッサで利用可能な多数のコアと高度な機能を活用しているほか、新しい Linux OS ディストリビューションと新しいバージョンのアプリケーション / ライブラリに対応しています。こうした改善により、Titanium を搭載した第 3 世代 VM のパフォーマンスが向上し、アプリケーション機能も充実するに至っています。

HPC アプリケーションのパフォーマンスの向上

Siemens の SimcenterTM STAR-CCM+TMソフトウェアなどのアプリケーションを使用することで、並列コンピューティングによって最適解が得られるまでの時間が短縮します。たとえば、コンピューティングリソースを 2 倍にすると同一の問題が半分の時間で解決されるとすれば、並列スケーリングの効率性は 100% となり、半分のリソースで実行した場合と比較してスピードが 2 倍になります。実際には、十分な並列処理がなされていない、ノード間通信にオーバーヘッドがあるなどさまざまな理由により、コンピューティングリソースを 2 倍に増やしてもスピードが 2 倍にならないこともあります。ただし、通信ライブラリの改善により、後者の問題は直接的に改善されます。

新しい Intel MPI ライブラリのパフォーマンスの向上を実証するべく、Google と Intel は H3 インスタンスでいくつかの標準ベンチマークを設定して Simcenter STAR-CCM+ をテストしました。以下の図には、最大 32 台の VM（2,816 コア）分の 5 つの標準ベンチマークが示されています。ご覧のとおり、テストの対象となったシナリオ全体で優れたスピードアップが達成されています。最小のベンチマーク（LeMans_Poly_17M）のみが 16 ノードを超えるとスケーリングが停止していますが、これは問題のサイズが小さいためであり、通信ライブラリのパフォーマンスでは対処されません。一部のベンチマーク（LeMans_100M_Coupled と AeroSuvSteadyCoupled106M）では、VM の台数に応じて急激なスケーリングの上昇が見られます。おそらくは利用可能なキャッシュの増加によるものでしょう。

Intel MPI バージョン 2021.11 が Intel MPI バージョン 2021.7 に比べてどの程度改善されているかを示すために、一つひとつの実行について両者の実行時間の比率を求めました。このスピードアップ比率は、古いバージョンの並列実行時間を新しいバージョンの並列実行時間で割ることによって算出されます。算出したスピードアップ比率を以下の表にまとめました。

以下の表からは、最適化された Intel MPI バージョン 2021.11 の方が、ほぼすべてのベンチマークとノード数において、より高い並列スケーラビリティと絶対的なパフォーマンスを実現していることがわかります。この効率性の向上（すなわち、最適解が得られるまでの時間の短縮とコストの削減）は、VM がわずか 2 台のときに早くも実現されており（最大 1.06 倍の改善）、VM の台数が増えるに従って劇的に高まっています（32 台の VM で 2.42 倍から 5.27 倍）。最小のベンチマーク（LeMans_Poly_17M）では、VM が 16 台のときに 11.53 倍という驚異的な改善が見られており、これは、古いバージョンとは異なり、新しい MPI バージョンでは最大 16 台の VM まで適切にスケーリングできることを示しています。

以上の結果は、最適化された Intel MPI ライブラリによって Google Cloud における Simcenter STAR-CCM+ のスケーラビリティが向上し、最適解が得られるまでの時間が短縮され、エンドユーザーがクラウドリソースをより効率的に使用できるようになることを示しています。

各ベンチマークは、Intel MPI バージョン 2021.7 とその TCP プロバイダ、および Intel MPI バージョン 2021.11 と PSM3 libfabric プロバイダを使用して実行されました。Simcenter STAR-CCM+ バージョン 2306（18.06.006）は、Google Cloud の H3 インスタンスでテストしました。ノードあたり 88 個の MPI プロセスと 200 Gbps のネットワークキングを使用し、CentOS Linux リリース 7.9.2009 を実行しました。

お客様とパートナー様の声

「Intel は、Google と連携して Google Cloud Platform と H3 VM に対応する優れたソフトウェアとハードウェアを提供できることを嬉しく思っています。Google と Intel の協力により、数値流体力学と HPC ワークロードのパフォーマンスと効率性が新たな水準へと引き上げられることでしょう。」 - Intel、ソフトウェアおよび先進技術グループ担当バイスプレジデント兼デベロッパーソフトウェアエンジニアリング担当ゼネラルマネージャー Sanjiv Shah 氏

商標

Siemens に関連する商標の一覧は、こちらでご覧いただけます。その他の商標は、それぞれの所有者に帰属します。

-Google Cloud、クラウド ML コンピューティングサービス担当 HPC ソフトウェアエンジニア Mansoor Alicherry
-Intel NEX クラウドコネクティビティグループ、ソフトウェアアーキテクチャ担当ディレクター Todd Rimmer 氏

Cluster Toolkit（旧称 HPC Toolkit）で大規模な AI / ML クラスタや HPC クラスタを構築

Fri, 16 Aug 2024 01:40:00 +0000

※この投稿は米国時間 2024 年 8 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。

Cloud HPC Toolkit、現在の Cluster Toolkit は、Google Cloud でのハイパフォーマンスコンピューティング環境の構築と管理を簡素化します。当初は科学技術分野のコンピューティングワークロードに重点を置いていましたが、さまざまな分野で幅広く採用されるようになったことを反映して、AI / ML アプリケーションも扱えるように拡張されました。

Cluster Toolkit を使用すると、クラスタのセットアップとデプロイを効率化し、Google Cloud のベストプラクティスを活用してさまざまなコンピューティングタスクを柔軟に処理できるため、ユーザーはワークロードに専念できます。主な利点は次のとおりです。

クラスタの簡単なデプロイと管理: Toolkit によりクラスタのセットアップと保守のプロセスが簡素化され、ユーザーがインフラストラクチャの管理ではなくワークロードに専念できます。Toolkit は、Slurm、GKE、Batch など、複数のスケジューラをサポートしています。
HPC と AI / ML のワークロードのクイックスタート オプション: Toolkit には、事前に構築されたブループリントとモジュールのライブラリが用意されているため、ユーザーはワークロードの実行をすばやく開始して、価値創出までの時間を短縮できます。
Google Cloud のベスト プラクティスの統合: 前述のブループリントとモジュールには Google Cloud の推奨構成が組み込まれており、パフォーマンスと効率が最適化されるようにクラスタを設定できます。
定期的な更新と新機能: Toolkit は積極的にメンテナンスされ、新機能の追加や改善が行われており、ユーザーに継続的なサポートと機能強化を提供しています。
オープンソースのアクセシビリティ: Toolkit はオープンソースなので、ユーザーは特定のニーズに合わせて機能をカスタマイズしたり拡張したりできます。

Cluster Toolkit の新機能

Cluster Toolkit は、名前が変更されただけでなく、HPC と AI / ML のワークロード向けの新機能がいくつか追加されています。

A3 Mega Blueprint: このブループリントにより、大規模言語モデル（LLM）のトレーニングやその他の AI / ML ワークロードに使用できる A3 Mega VM のクラスタを簡単にデプロイできます。今年に入ってから、A3 Blueprint もリリースされました。
HPC VM イメージ: この VM イメージには、一般的な HPC ツールとライブラリがプリインストールされているため、HPC ワークロードの実行をすばやく開始して確実なパフォーマンスを得ることができます。

HPC VM イメージの Rocky 8 バージョンの一般提供が開始されました。
HPC VM イメージの CentOS 7 向け最終バージョンがリリースされたことにご注意ください。CentOS は 2024 年 6 月 30 日にサポートが終了し、セキュリティアップデートが提供されなくなりました。今後に向けて Rocky 8 に移行することを強くおすすめしており、HPC VM イメージの Rocky 8 バージョンを定期的にリリースしていく予定です。
HPC VM イメージで自動更新を無効にする機能をリリースします。自動更新は、HPC アプリケーションのパフォーマンスに影響を及ぼす可能性があるため、メタデータを介して自動更新を無効にするオプションを提供します。

Slurm-gcp v6: Google Cloud 上で Slurm ワークロードを実行するためのシームレスなエクスペリエンスを提供する、Slurm-gcp ソリューションの最新バージョンが一般提供になりました。

Toolkit の既存のお客様向けのガイドライン

GitHub リポジトリの名前が「Cluster Toolkit」に変更され、また一部のコマンドの名前も変更されました（例: ghpc は gcluster になりました）。既存の Git オペレーションやコマンドは引き続き機能しますが、混乱を避けるためにローカルのクローンやコマンドの名前を更新することを強くおすすめします。

ご利用方法

Cluster Toolkit を使い始めるには、GitHub リポジトリから入手できる使いやすい HPC と AI / ML のブループリントの中からいずれかを選択し、それを使用してクラスタをセットアップします。また、ドキュメント、クイックスタート、動画など、使い始めるのに役立つさまざまなリソースもご用意しています。

-Google Cloud、グループプロダクトマネージャー Annie Ma-Weaver
-Google Cloud、ソフトウェアエンジニアリングマネージャー Shivani Matta

Slurm-GCP v6 と TPU のサポートにより HPC エクスペリエンスを強化

Thu, 20 Jun 2024 03:00:00 +0000

※この投稿は米国時間 2024 年 6 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Cloud では、AI ハイパーコンピュータをはじめとして、HPC 用に最適化されたインフラストラクチャをユーザーの設定に従って複数の方法でデプロイできます。Slurm ベースの環境を使いたいと考えているお客様には、Cloud HPC Toolkit の使用をおすすめします。Cloud HPC Toolkit は AI / ML と従来の HPC ワークロードに対応する HPC システムの作成と管理を簡単に実施できるようにする Google プロダクトです。このツールキットには、Google Cloud での Slurm のインストール、デプロイ、特定の運用面を自動化するのに役立つ、一連の Slurm スクリプトである Slurm-GCP サービスが含まれています。

このたび、Slurm 23.11 で動作する最新かつ推奨バージョンの Slurm-GCP v6 の一般提供が開始されたことをお知らせします。このリリースは、SchedMD のエンジニアリング専門家との数年に及ぶ協力によって実現しました。

v5 と比較して、Slurm-GCP v6 には次の利点があります。

迅速なデプロイ

シンプルなクラスタ（既存の VPC と Slurm インフラストラクチャで構成され、ファイルシステムを並列にデプロイしたり、クラスタの自動スケーリングを使用したりしない）のデプロイが、以前のバージョンよりも 3 倍速くなりました。

堅牢な再構成

再構成は、実行中のクラスタに変更を加えることができるようにする Slurm-GCP のメカニズムです。このプロセスが各インスタンスで実行されるサービスによって管理されるようになっており、より一貫したエクスペリエンスを実現します。また、デフォルトで有効になっているため、実行中のクラスタの再構成が容易になりました。

単一のプロジェクトでより多くのデプロイが可能

単一のプロジェクトでデプロイできるクラスタの数の制限を解除しました。

デプロイ環境における依存関係を削減

再構成とコンピューティングノードのクリーンアップ機能がデフォルトで有効になり、ユーザーが設定する必要がなくなったため、Slurm クラスタを管理しやすくなりました。

TPU v3 と v4 の完全サポート

TPU v3 と v4 が完全にサポートされるようになったことで、TPU パーティションと GPU パーティションを並行して構成できるようになり、任意のアクセラレータを選択できる柔軟性がこれ以上ないほど高くなりました。

Toolkit ブループリントライブラリにアクセスして、今すぐ v6 を使い始めましょう。これらのブループリントには、Slurm を使用した TPU での MaxText ML ベンチマークの実行や、Slurm を使用した Apptainer コンテナの実行などが含まれます。なお、以前のバージョンの Slurm-gcp を使用したブループリントは、名前に「v5」が含まれ、2024 年 11 月までサポートされます。

-Google Cloud HPC、グループプロダクトマネージャー Annie Ma-Weaver
-Google Cloud HPC、テクニカルリーダー Nick Stroud

Google Cloud での Altair EDEM: 10 億個の粒子の壁を打ち破る

Tue, 09 Apr 2024 02:10:00 +0000

※この投稿は米国時間 2024 年 3 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。

産業、製造業、ライフサイエンスの企業においては、バルク材料や粒状材料と機器や容器との相互作用、材料同士の相互作用をシミュレートする能力が重要となっています。これらのシミュレーションが大規模になるほど、その精度は上がり、企業が設計やプロトタイプの繰り返しに費やす時間や費用も削減されます。最近 Altair と Google Cloud は共同で、1 台の Google Cloud 仮想マシンでAltair® EDEM™ を使用して、どの程度大規模なシミュレーションを行えるかを確認したところ、画期的な結果が得られました。

GPU で EDEM シミュレーションを強化

Altair EDEM は、バルク材および粉粒体シミュレーションのための高性能なソフトウェアアプリケーションです。離散要素法（DEM）計算を利用した EDEM は、採掘された鉱石、土、繊維、穀物、錠剤、粉末などの粉体の挙動を迅速かつ正確にシミュレーションおよび分析します。

長年にわたり、産業界は EDEM にさらなる規模の拡大を求め、その結果、モデルサイズに関して多くの画期的な成果がもたらされました。20 年前は 20 万個の粒子が上限で、シミュレーションの作成には 10 日以上かかっていたのが、すぐに 100 万個、1,000 万個、2,000 万個の粒子へと増加していきました。昨今掲げている至上目標は、10 億個の粒子を含むシミュレーションを数日で達成することです。

ご想像のとおり、このようなシミュレーションには膨大なコンピューティング能力が必要となるため、画像処理装置（GPU）を使用してシミュレーションの速度と効率を大幅に向上しています。GPU は並列処理タスクを処理できるよう特殊な設計となっているため、EDEM シミュレーションに関連する大量のデータや複雑な計算を処理するのに非常に効率的です。

テスト: Google Cloud での Altair EDEM

EDEM はデスクトップアプリケーションとして設計されたため、常に単一ホストにある共有メモリアーキテクチャに制限されてきました。複数のホストにまたがって拡張できる分散メモリとは対照的に、プロセッサが直接アクセスすることしかできません。大規模な再構築を行わなければ、EDEM は分散メモリのスケーラビリティと柔軟性を活用できない状況でした。しかし、マルチ GPU システムにより、分散メモリプログラミングモデルに移行しなくても、コンピューティング能力を向上させる機会を得ることができたのです。

Altair と Google Cloud の共同作業には 2 つの目標がありました。1 つは 10 億個の粒子を含む、可能な限り最大規模のシステムをシミュレートすること、もう 1 つはデータを収集し、特定のハードウェアタイプを考えられ得るシミュレーション規模にマッピングするための予測を構築することです。2023 年 5 月、Google Cloud は NVIDIA H100 GPU を搭載した A3 仮想マシン（VM）の提供を発表しました。A3 VM は、NVIDIA H100 Tensor Core GPU と最新の CPU の組み合わせに加え、改良されたホストメモリと大規模に改善したネットワークを提供することから、この規模のシミュレーションに対応できるようになっています。

Altair と Google Cloud は、8 つの NVIDIA H100 GPU を搭載した 1 台の A3 VMで、それぞれ 80 GB の GPU メモリと合計 3.6 TB/秒の二分割帯域幅を実現する 2 つのシミュレーションシナリオを実行しました。このシステムには、第 4 世代インテル® Xeon® スケーラブルプロセッサと 2 TB のホストメモリも搭載されています。

テストシナリオには充填テストを選びました。これは実用的なシミュレーションで、現実的な産業環境（この場合は、移動するプレートから容器に落下する粒子）における粒子の挙動の影響を確認するために使用されます。このシミュレーションでは、単一球形と複数球形の 2 種類の粒子を使用しました。

画期的な結果

上記で示されているように、単一球形と複数球形の EDEM シミュレーションを組み合わせた充填テストシミュレーションでは、合計 10 億個の粒子を達成でき、利用可能な 8 つの NVIDIA H100 GPU 間で優れたスケーリングを実現しました。

この新しい 10 億個の粒子シミュレーションの画期的な結果により、製造業は粒状材料の挙動をより深く理解して予測し、機器の性能を評価し、かつてない規模でプロセスを最適化できます。今後、より忠実度の高い大規模なシミュレーションが可能になるでしょう。

EDEM アプリケーションについて詳しく知りたい方、または Google Cloud のトライアルをご希望の方は、こちらのフォームに記入してください。Google Cloud が HPC ワークロードを実現している方法について詳しくは、こちらをご覧ください。

ー EDEM Product Simulation、ディレクター Carlos Labra 博士

ー Google Cloud HPC、グループプロダクトマネージャー Annie Ma-Weaver

Rocky Linux 8 および CentOS 7 バージョンの HPC VM イメージが一般提供に

Thu, 04 Apr 2024 01:00:00 +0000

※この投稿は米国時間 2024 年 3 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。

この度、気象予測、流体力学、分子モデリングなどの密結合ワークロードに焦点を当てたハイパフォーマンスコンピューティング（HPC）ワークロード向けに、Rocky Linux 8 ベースおよび CentOS 7 ベースの HPC 仮想マシン（VM）イメージの一般提供を開始したことをお知らせいたします。

HPC VM イメージを使用すると、HPC 対応の VM インスタンスを簡単に構築できます。また、Google Cloud 上で HPC を実行する次のようなベストプラクティスが組み込まれています。

すぐに使用できる HPC 対応の VM - 特に HPC VM イメージの定期リリースでは、密結合 HPC ワークロード向けに手動でパフォーマンスを調整する、VM の再起動を管理する、Google Cloud アップデートに関する最新情報を入手する、といった作業は必要ありません。再起動は、調整によって再起動が必要になった場合に自動的にトリガーされ、このプロセスは HPC VM イメージによって管理されます。
密結合のワークロードのネットワーク最適化 - 小規模メッセージのレイテンシを低減するように最適化されます。ポイントツーポイント通信とグループ通信に大きく依存するアプリケーションにメリットがあります。
コンピューティング最適化 - システムジッターを削減するように最適化されます。これにより、スケーラビリティを向上させるうえで重要な単一ノードのパフォーマンスの一貫性が保たれます。
アプリケーションの互換性の向上 - Intel HPC プラットフォーム仕様のノードレベルの要件を満たすことで、システム間で高度な相互運用性を実現します。

HPC ベンチマークを使用したパフォーマンス測定

Intel MPI ベンチマーク（IMB）において、デフォルトの CentOS 7 イメージおよび GCP に最適化された Rocky Linux 8 イメージと、HPC VM イメージのパフォーマンスを比較しました。

ベンチマークは次のイメージに対して実行されました。

HPC Rocky Linux 8

イメージ名: hpc-rocky-linux-8-v20240126
イメージプロジェクト: cloud-hpc-image-public

デフォルトの GCP Rocky Linux 8

イメージ名: rocky-linux-8-optimized-gcp-v20240111
イメージプロジェクト: rocky-linux-cloud

マシンの各クラスタは、max_distance=1 のコンパクトプレースメントでデプロイされました。つまり、ネットワークレイテンシを最小限に抑えるために、すべての VM が物理的に同じラック上のハードウェアに配置されているということです。

Intel MPI ベンチマーク（IMB）Ping-Pong

IMB Ping-Pong は、異なる VM 上の 2 つのランク間で固定サイズのメッセージを転送するときのレイテンシを測定します。HPC Rocky Linux 8 イメージを使用した場合、デフォルトの GCP Rocky Linux 8 イメージと比較して最大 15% の改善が見られました。

ベンチマークのセットアップ

2 x h3-standard-88
MPI ライブラリ: Intel OneAPI MPI ライブラリ 2021.11.0
MPI ベンチマークアプリケーション: Intel MPI ベンチマーク 2019 アップデート 6
MPI 環境変数:

I_MPI_PIN_PROCESSOR_LIST=0
I_MPI_FABRICS=shm:ofi
FI_PROVIDER=tcp

コマンドライン: mpirun -n 2 -ppn 1 -bind-to core -hostfile <hostfile> IMB-MPI1 Pingpong -msglog 0:16 -iter 50000

結果

Pingpong 1 PPN - Rocky Linux 8（低いほど良い）

Intel MPI ベンチマーク（IMB）AllReduce - 1 ノードあたり 1 プロセス

IMB AllReduce ベンチマークは複数の VM 間の複数のランクでグループレイテンシを測定します。MPI_SUM オペレーションを実施して固定長のベクトルを集約します。

ネットワークパフォーマンスを分離するために、最初に 8 つの VM で 1 つの PPN（ノードあたりのプロセス数）結果（1 MPI ランク）を示します。

HPC Rocky Linux 8 イメージでは、デフォルトの GCP Rocky Linux 8 イメージと比較して最大 35% の改善が見られました。

ベンチマークのセットアップ

8 x h3-standard-88
1 ノードあたり 1 プロセス
MPI ライブラリ: Intel OneAPI MPI ライブラリ 2021.11.0
MPI ベンチマークアプリケーション: Intel MPI ベンチマーク 2019 アップデート 6
MPI 環境変数:

I_MPI_FABRICS=shm:ofi
FI_PROVIDER=tcp
I_MPI_ADJUST_ALLREDUCE=11

コマンドライン: mpirun -n 008 -ppn 01 -bind-to core -hostfile <hostfile> IMB-MPI1 Allreduce -msglog 0:16 -iter 50000 -npmin 008

結果

Allreduce 1 PPN - Rocky Linux 8（低いほど良い）

Intel MPI ベンチマーク（IMB）AllReduce - 1 コアあたり 1 プロセス（1 ノードあたり 88 プロセス）

88 MPI ランク/ノード、1 スレッド/ランク（704 ランク）の 88 の PPN 結果を示します。

このテストでは、HPC Rocky Linux 8 イメージについて、デフォルトの GCP Rocky Linux 8 イメージと比較して最大 25% の改善が見られました。

ベンチマークのセットアップ

8 x h3-standard-88
1 コアあたり 1 プロセス（1 ノードあたり 88 プロセス）
MPI ライブラリ: Intel OneAPI MPI ライブラリ 2021.11.0
MPI ベンチマークアプリケーション: Intel MPI ベンチマーク 2019 アップデート 6
MPI 環境変数:

I_MPI_FABRICS=shm:ofi
FI_PROVIDER=tcp
I_MPI_ADJUST_ALLREDUCE=11

コマンドライン: mpirun -n 704 -ppn 88 -bind-to core -hostfile <hostfile> IMB-MPI1 Allreduce -msglog 0:16 -iter 50000 -npmin 704

結果

Allreduce 88 PPN - Rocky Linux 8（低いほど良い）

ご利用方法

HPC 対応 VM を作成するには、次のオプションを使用します。

Cloud HPC Toolkit
Google Cloud CLI
Google Cloud コンソール - 注: イメージは、コンソールの Cloud Marketplace から入手できます。
SchedMD の Slurm ワークロード マネージャー。デフォルトで HPC VM イメージを使用します。詳細については、Intel Select Solution 検証済みクラスタの作成をご覧ください。
Omnibond CloudyCluster。デフォルトで HPC VM イメージを使用します。

-Cloud HPC 担当ソフトウェア エンジニア、Rohit Ramu

-Cloud HPC 担当グループ プロダクト マネージャー、Annie Ma-Weaver

A3 VM の NeMo フレームワークでの AI / ML のための Cloud HPC Toolkit ブループリントに関するお知らせ

Fri, 22 Mar 2024 01:20:00 +0000

※この投稿は米国時間 2024 年 3 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。

大規模言語モデル（LLM）のトレーニングを含む多くの AI / ML ワークロードには、最先端のハイパフォーマンスコンピューティング（HPC）システムが必要です。LLM 開発とトレーニングを行う多くの方々は従来の HPC システムや Slurm などのスケジューラに習熟していますが、このようなシステムを AI / ML のニーズに応じて最適化するには手助けが必要です。このたび、Cloud HPC Toolkit を使用して Google Cloud で非常に要求の厳しいモデルに対応した HPC システムを簡単に作成できるようになりました。

Cloud HPC Toolkit は AI / ML と従来の HPC ワークロードに対応する HPC システムの作成と管理を簡単に実施できるようにする Google プロダクトです。Toolkit には次のようなさまざまな機能が含まれています。

HPC クラスタを迅速かつ簡単にプロビジョニングして構成する
AI / ML ソフトウェアスタックをインストールし、管理する
HPC クラスタを AI / ML ワークロードに合わせて最適化する
HPC クラスタをモニタリングする

本日は ML ワークロードのための新しい Cloud HPC Toolkit ブループリントについてお知らせします。NVIDIA H100 Tensor Core GPU 搭載の A3 VM は大規模言語モデル（LLM）のトレーニングやその他の AI / ML ワークロードに対応し、トレーニングのパフォーマンスを高めるための Google Cloud のベストプラクティスが組み込まれています。このブループリントは、そのような A3 VM で実行される HPC システムをスピンアップするために役立ちます。

特に、NVIDIA GPU での大規模な HPC と AI / ML クラスタのデプロイにおいては、ネットワーキング構成などの複数のインフラストラクチャコンポーネントを慎重に調整する必要があります。Cloud HPC Toolkit は、あらかじめベストプラクティスが反映された使いやすいブループリントに沿って簡単にこのことを実現できるようにします。ML ブループリントによって次のようなコンポーネントや機能が提供されます。

カスタマイズされた Deep Learning VM Image を備えた 5 つの NIC で 1 Tbps のネットワーキングを構成して実現
フルマネージド Filestore（NFS）を使用する共有ストレージ
人気のオープンソーススケジューラ Slurm
ログインノードとコントローラ機能のための管理 VM の作成
A3 VM（8 X NVIDIA H100 GPU）と VM ごとに 6 TB のローカル SSD を使用する自動スケーリングパーティションの設定
Conda、TensorFlow、NVIDIA ドライバ、NVIDIA CUDA、NVIDIA Enroot / Pyxis、NVIDIA TensorRT、PyTorch を含む事前構成されたユーザー環境

A3 クラスタのデプロイと NVIDIA NeMo フレームワークの実行

A3 クラスタはこちらの手順に沿ってデプロイします。そこにある標準の Playbooks と NVIDIA NeMo Framework User Guide の NVIDIA NeMo Launcher ガイドに沿って作業します。さらに、GPUDirect-TCPX 機能を使用するには、A3 VM 全体でのネットワーキングのパフォーマンスを高めるために、いくつかの変更を加える必要があります。これらの変更を加えて NeMo フレームワークの事前トレーニングの基本的なサンプルを起動する方法の例については、HPC Toolkit リポジトリの README をご覧ください。その一部を以下にコピーします。

code_block: <ListValue: [StructValue([('code', 'README\r\n======\r\n1. NeMo フレームワークコンテナをカスタマイズします。nemo:23.11.framework コンテナに対して環境変数の変更をいくつか加え、フレームワークランチャースクリプトとその他のいくつかの補助的なファイルを作業ディレクトリにコピーする Slurm ジョブを発行します。\r\n sbatch setup_nemo.sh\r\n2. NeMo フレームワーク要件をインストールします。仮想環境を使用することをおすすめします。これにより NeMo フレームワークを使用してジョブを発行するために必要なコンポーネントがインストールされます。\r\n python3 -m venv env\r\n source env/bin/activate\r\n pip install -r requirements.txt\r\n3. NeMo フレームワーク事前トレーニングのサンプルを実行します。これにより、モックデータを入力に使用して 5B パラメータの GPT3 モデルを 10 ステップでトレーニングするサンプルが実行されます。\r\n cd launcher_scripts\r\n mkdir data\r\n python main.py \\\r\n launcher_scripts_path=${PWD} \\\r\n stages=[training] \\\r\n env_vars.TRANSFORMERS_OFFLINE=0 \\\r\n container=../nemofw+tcpx-23.11.sqsh \\\r\n container_mounts=\'["/var/lib/tcpx/lib64","/run/tcpx-\\${SLURM_JOB_ID}:/run/tcpx"]\' \\\r\n cluster.srun_args=["--container-writable"] \\\r\n training.model.data.data_impl=mock \\\r\n training.model.data.data_prefix=[] \\\r\n training.trainer.max_steps=10 \\\r\n training.trainer.val_check_interval=10 \\\r\n training.exp_manager.create_checkpoint_callback=False'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f631b6377f0>)])]>

実行しようとするクラスタや特定の NeMo Framework のワークロードに合わせて構成ファイルをカスタマイズする作業が、コマンドライン引数を使用する場合と比較して簡単であることがおわかりでしょうか。たとえば、現実のワークロードでは現実のトレーニングデータを使用するため、ユースケースに応じてあらゆるチューニングと構成パラメータを試すことが望ましい場合があります。

NVIDIA GTC 2024 の Google Cloud ブース #808 では、AI / ML のニーズに応えるプロダクト、ツール、インフラストラクチャについて詳しくご紹介します。HPC Toolkit については専用のセッションで詳しくご説明します。ブースでは ML ブループリントのデモを実行し、専門家が質問にお答えします。ぜひイベントにお越しください。

-HPC 担当、シニア システム アンド ソリューション アーキテクト Sam Skillman

-Cloud HPC 担当、グループ プロダクト マネージャー Annie Ma-Weaver

UM-Bridge: Kubernetes を活用してクラウドでのスケーラブルな不確実性の定量化を実現

Thu, 15 Feb 2024 01:05:00 +0000

※この投稿は米国時間 2024 年 2 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。

シミュレーションと不確実性

数値シミュレーションは、科学や工学の多くの分野でイノベーションを推進するツールとして確立されており、数学モデルを使って実世界のプロセスを予測するのに役立っています。たとえば、エンジニアは CAD ソフトウェアを使用して機械的シミュレーションの結果を得ることができますし、医療画像処理では推論が重要な役割を果たしています。このようなシナリオでは、データの不確実性に直面するのが一般的であり、モデリングへの決定論的手法だけでは、研究対象のシステムの複雑さを完全に捉えきれないことがあります。

不確実性は、測定誤差、不完全な情報、特定のプロセスに固有の確率的性質など、さまざまな要因によって生じる可能性があります。物理プロセスをシミュレートする際、不確実なデータは、紛れもなく不確実な予測や推論を意味します。不確実性を踏まえた分析を行うことで、研究者はモデルの限界を理解し、異なる結果に関連するリスクを定量化できます。特定のシナリオが起こる可能性を理解することは重要です。その例として、放射性廃棄物処分の評価、津波の早期警報システム、航空機の翼の設計時に重大な欠陥が生じうる確率の考慮などが挙げられます。

複雑な問題、複雑なソフトウェア

したがって、不確実性の定量化（UQ）には、数学的側面と技術的側面のそれぞれに多くの課題が存在します。非常に単純な UQ の問題であっても、膨大な計算量を必要とする場合があります。そのため、比較的少ないシミュレーション実行回数で良好な結果が得られる効率的な UQ アルゴリズム、最先端の数値ソルバー、ハイパフォーマンスコンピューティング（HPC）リソースを、すべて 1 つのアプリケーションにまとめる必要があります。

さらに、UQ コミュニティと数値シミュレーションコミュニティでは根本的に要件が異なるため、まったく違うツールを使用する傾向があります。その結果、プログラミング言語、ビルドシステム、並列化スキームなどには互換性がありません。また、大規模なシミュレーションソフトウェアを拡張して不確実性を組み込む場合、通常モノリシックに行われるため、非常に複雑なソフトウェアになります。たとえば、一般的な気候モデルのコードは、50 万行をゆうに超える場合があります。つまり、高度な UQ 手法を高度なモデルと組み合わせることができるのは、非常に大規模で学際的なチームのみということになってしまいます。

では、全体的な複雑さを管理しやすくし、UQ 手法をより身近なものにするにはどうすればよいのでしょうか。

UM-Bridge: UQ の複雑さを解消

私たちは、あらゆるプログラミング言語やフレームワークからアクセスできる数値モデルの統合インターフェースとして、UM-Bridge1（UQ and Modeling Bridge）を開発し、数学モデルのサービスベースの抽象化を導入しました。UM-Bridge では、UQ とモデルコードは 2 つの独立したアプリケーションであり、HTTP ベースのプロトコルを使用してモデル評価リクエストを渡します。多くの UQ アルゴリズムでは、モデルを、パラメータベクトルをモデルの結果ベクトルにマッピングする数学関数として扱うため（場合によっては導関数を伴う）、このようなアーキテクチャが可能になります（これは、数学モデルで動作する多くの最適化アルゴリズムや ML アルゴリズムにも当てはまります）。

多くの言語やフレームワークに UM-Bridge がネイティブに統合されているため、それぞれの言語で通常の関数呼び出しを行うように簡単にモデルを呼び出すことができます。サービスベースのアーキテクチャと統合インターフェースにより、UM-Bridge クライアントは、それぞれのプログラミング言語やフレームワークに関係なく、任意の UM-Bridge サポートモデルに接続できます。

UQ のエコシステムとクラウドをつなぐ

UQ アルゴリズム自体の計算費用は低くなる傾向があります。一般的に、費用を増加させるのは多くの数値モデル評価です。そのため、並列化された UQ アルゴリズムを単一のマシンで実行し、負荷の高いモデルの計算を UM-Bridge でクラウドクラスタにオフロードすることができます。クラスタ側のロードバランサは、これらの並列モデル評価リクエストを受け取り、（潜在的に多数の）独立したモデルインスタンス間で分散します。

すでに多くの UQ パッケージが単一ノードでの並列処理をサポートしているものの、マルチノードはサポートしていません。マルチノードをサポートしているものは通常、MPI や Ray などの特定のテクノロジーに限定されているため、任意のモデルコードとの互換性は制限されることになります。以下に示す新しいアーキテクチャは、これらの UQ コードのいずれであってもモデルの計算をクラスタに透過的にオフロードできるため、特に魅力的といえるでしょう。

私たちは、UM-Bridge フレームワークを実装するための科学計算プラットフォームとして、Google Cloud 上の Google Kubernetes Engine を選択しました。ワークロードをオーケストレートするためのコンテナ化された環境や、タスク分散のための高度なロードバランシング機能など、私たちの要件に必要な機能を提供してくれるためです。

ロードバランサには、一度に 1 つのリクエストだけが 1 つのモデルインスタンスに渡されるように構成された HAProxy を採用しています。各モデルインスタンス自体は、MPI を介して複数のノード（つまりコンテナ）にまたがって並列化できますが、これは Kubeflow の mpi-operator を使用する特別なケースとしてサポートしています。最後に、一部の GKE 固有の最適化は、コンパクトに配置されたクラスタで実行されるため、ノード間のレイテンシが短縮されます。加えて、一貫したパフォーマンスを実現するために同時マルチスレッディング（SMT）を無効にしています。

私たちが行った設定は、再現可能な構成として公開しています。これは、任意の UM-Bridge モデルコンテナをサポートするあらゆる Kubernetes クラスタに応用できます。UM-Bridge は UQ パッケージとクラウドクラスタの橋渡しを行い、UQ とモデル間のインテグレーションの問題を解決するだけでなく、専用の HPC UQ コードも不要にします。

応用

私たちは、この Kubernetes の設定を実行して UQ の多くの問題を解決することに成功し、そのうちの 3 つの設定を公開2しています。クライアント側は、MATLAB の「parfor」ループによって簡単に並列化されたスパースグリッドコードから、Ray で並列化された Python UQ コードまで幅広く対応しています。同様に、Fortran やコード生成された C++ など、いくつかの異なるツールを使用してモデルを構築しています。UM-Bridge と Kubernetes のおかげで、簡単にツールを組み合わせることができました。

この手法の最大の応用例が、利用可能なブイのデータに基づいた、2011 年東北地方太平洋沖地震の津波の震源に対するベイズ推定です。私たちは、高速近似モデルによって高速化された階層的 UQ 手法を使用しました。それでも、さまざまな震源で 3,000 回以上のシミュレーションを行い、その結果を測定データと比較する必要がありました。そこで、100 個の c2d-highcpu-56 VM を使用して、負荷の高いシミュレーションの実行を 5,600 個の vCPU を擁する GKE クラスタにオフロードしました。この応用ケースでは、1 つのノードに割り当てられた 56 個の vCPU をすべて使用して、各シミュレーションと並行して 100 件のシミュレーションを実行しました。

MPI 並列 UQ コードを使用し、ベアメタル HPC クラスタ3でモデルを実行する従来のアプローチと比較して、開発期間を数か月からわずか数日に短縮することができました。UM-Bridge、コンテナ化、Kubernetes によって、以前直面していた技術的な問題が解決されたため、私たちは UQ の問題に完全に集中できるようになりました。

まとめ

UM-Bridge は、マイクロサービスを活用するアーキテクチャを導入することで、複雑な応用ケースにおいても UQ を可能にします。大規模な GKE Standard クラスタで、私たちはそのスケーラビリティを実証することができました。コンテナの完全なサポートと私たちが公開している汎用的な Kubernetes の設定により、Kubernetes が大規模な UQ を実行するうえでの魅力的な選択肢となることは間違いありません。

ドキュメントやチュートリアル、Kubernetes の設定については、https://um-bridge-benchmarks.readthedocs.io をご覧ください。ここには、UM-Bridge ベンチマークライブラリの一部として、上述の津波モデルも用意されています。

UM-Bridge および UQ の応用に関するコミュニティを積極的に構築していますので、お気軽にお問い合わせください。現在の決定論的数値シミュレーションのように、UQ をユビキタスなものにしていきましょう。

^1.^UM-Bridge^2. ^{Scaling up on GKE}^3. ^{Large-scale UQ on conventional HPC cluster}

-ダラム大学、助教授 Anne Reinarz 博士

-ハイデルベルク大学、博士研究員 Linus Seelinger 博士

HPC

H4D VM の一般提供開始: HPC ワークロード向けに卓越したパフォーマンスとスケーリングを実現

ドメインや規模を問わず、解決までの時間を短縮

HPC のコスト パフォーマンスの新たな基準

包括的な HPC 管理

お客様とパートナー様の声

今すぐ H4D を体験

STAC Summit NYC での Google Cloud と AMD: 金融業界向けの H4D VM

金融サービス向けの H4D VM

H4D: 金融ワークロードに優れたパフォーマンス

あらゆる金融サービス ソリューション

エキスパートに相談しよう

分散 AI と ML の未来に向けて Ray と Kubernetes をともに進化させる

Ray と Kubernetes のラベルベースのスケジューリング

Ray と Kubernetes でのアクセラレータ サポートの強化

Kubernetes の書き込み可能な cgroup を使用した Ray ネイティブのリソース分離

Pod のインプレース サイズ変更による Ray の垂直自動スケーリング

Ray + Kubernetes = AI 向けの分散 OS

Ray on GKE で Cloud TPU をよりネイティブに利用

G4 VM の内部: マルチ GPU ワークロード向けのカスタムの高性能 P2P ファブリック

集団のコミュニケーションのパフォーマンスが重要

G4 でマルチ GPU のパフォーマンスを加速する方法

G4 での P2P による推論パフォーマンスの向上

スループットまたは速度: P2P を使用する G4 で選択可能

G4 と GKE Inference Gateway でさらに拡張

G4 P2P でサポートされる VM シェイプ

Google Pixel 4 で P2P を使ってみる

オープンソースでエンタープライズ対応: Google Cloud 向けの IBM Spectrum Symphony コネクタ

パートナーによって構築、テストされているエンタープライズ規模のソリューション

ご自身に合った方法で利用できる高度な機能

使ってみる

Google Kubernetes Engine で Managed Lustre を使用するときのベスト プラクティス 5 つ

1. データのロケーションを考慮した設計

2. ティアでパフォーマンスを適正化

3. ネットワーキングの基礎を習得

4. シンプルな場合は動的プロビジョニングを、長期的に共有するデータには静的プロビジョニングを

5. Kubernetes Job を使用した並列処理のアーキテクチャ設計

使ってみる

Google Cloud Managed Lustre で AI ワークロードを加速

SandboxAQ: クラウド インテグレーションによる創薬の加速

科学的知見のためのクラウド ネイティブ開発

SandboxAQ ソリューションの実際の活用

新しいコンピューティングのイノベーションとサービスで企業の変革を推進

あらゆるワークロードに対応する、新たに進化したコンピューティング機能

スケールと効率性の向上を実現するストレージとプラットフォームの機能

使用パターンに合わせてリソースを割り当て

最適化されたコンピューティングでイノベーションに投資

Colossus: Rapid Storage の高パフォーマンスを実現する秘密の要素

Google Cloud でグローバルな科学的発見とイノベーションを実現

H4D VM: 次世代の HPC 最適化 VM

HPC アプリケーションのパフォーマンスの向上

Titanium 上の Cloud RDMA による HPC の高速化

クラスタ管理とスケジューリング機能

VM サイズとリージョンの可用性

お客様とパートナー様の声

試してみる

Parallelstore の一般提供が始まり、次世代の AI と HPC のワークロードを推進する

グッドプットと GPU / TPU 使用率を最大化する

プログラムで Parallelstore へのデータ出入力を行う

CSI ドライバを使用して GKE リソースをプログラムでプロビジョニングする

Cluster Toolkit を使用して Compute Engine リソースをプログラムでプロビジョニングする

現実世界への影響: Respo.vision は Parallelstore で新たな可能性を開拓する

最適化された Intel MPI によって Google Cloud の HPC パフォーマンスが向上

第 3 世代 VM と Titanium 向けに最適化された MPI ライブラリ

HPC アプリケーションのパフォーマンスの向上

お客様とパートナー様の声

-Google Cloud、クラウド ML コンピューティング サービス担当 HPC ソフトウェア エンジニア Mansoor Alicherry-Intel NEX クラウド コネクティビティ グループ、ソフトウェア アーキテクチャ担当ディレクター Todd Rimmer 氏

クラウド HPC を簡単に: Google の Cloud HPC Toolkit 向けブループリント カタログ

Cluster Toolkit（旧称 HPC Toolkit）で大規模な AI / ML クラスタや HPC クラスタを構築

Cluster Toolkit の新機能

Toolkit の既存のお客様向けのガイドライン

ご利用方法

-Google Cloud、グループ プロダクト マネージャー Annie Ma-Weaver-Google Cloud、ソフトウェア エンジニアリング マネージャー Shivani Matta

Slurm-GCP v6 と TPU のサポートにより HPC エクスペリエンスを強化

-Google Cloud HPC、グループ プロダクト マネージャー Annie Ma-Weaver-Google Cloud HPC、テクニカル リーダー Nick Stroud

Google Cloud での Altair EDEM: 10 億個の粒子の壁を打ち破る

GPU で EDEM シミュレーションを強化

テスト: Google Cloud での Altair EDEM

画期的な結果

Rocky Linux 8 および CentOS 7 バージョンの HPC VM イメージが一般提供に

HPC のコストパフォーマンスの新たな基準

あらゆる金融サービスソリューション

Ray と Kubernetes でのアクセラレータサポートの強化

Pod のインプレースサイズ変更による Ray の垂直自動スケーリング

Google Kubernetes Engine で Managed Lustre を使用するときのベストプラクティス 5 つ

SandboxAQ: クラウドインテグレーションによる創薬の加速

科学的知見のためのクラウドネイティブ開発

-Google Cloud、クラウド ML コンピューティングサービス担当 HPC ソフトウェアエンジニア Mansoor Alicherry
-Intel NEX クラウドコネクティビティグループ、ソフトウェアアーキテクチャ担当ディレクター Todd Rimmer 氏

クラウド HPC を簡単に: Google の Cloud HPC Toolkit 向けブループリントカタログ

-Google Cloud、グループプロダクトマネージャー Annie Ma-Weaver
-Google Cloud、ソフトウェアエンジニアリングマネージャー Shivani Matta

-Google Cloud HPC、グループプロダクトマネージャー Annie Ma-Weaver
-Google Cloud HPC、テクニカルリーダー Nick Stroud