システム

AI インフラストラクチャの効率: Ironwood TPU で炭素効率が 3.7 倍向上

Mon, 20 Apr 2026 01:00:00 +0000

※この投稿は米国時間 2026 年 4 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。

Google は、AI インフラストラクチャが環境に与える影響について透明性を確保することに尽力しており、チップの製造からデータセンターでのチップの稼働まで、チップのライフサイクル全体における排出量の指標を公開しています。このたび、Google は第 7 世代 TPU である Ironwood の指標を更新します。Ironwood は、前世代のパフォーマンス最適化 TPU である TPU v5p と比較して、コンピューティング二酸化炭素排出原単位（CCI）が約 3.7 倍改善されています1。

つまり、AI が追加のコンピューティングリソースの需要を促進しているのは事実ですが、AI ハードウェアを最適化するための Google の継続的な取り組みは、AI ワークロードのエネルギー消費量と排出量の改善に役立っています。

AI アクセラレータの効率を測定: コンピューティング二酸化炭素排出原単位（CCI）

AI ワークロードの環境への影響を管理するために、Google は AI アクセラレータハードウェアのコンピューティング二酸化炭素排出原単位（CCI）をモニタリングしています。CCI は、An Introduction to Life-Cycle Emissions of Artificial Intelligence Hardware2 で、利用される浮動小数点演算ごとに排出される CO2 換算量（CO2e / FLOP）の推定値として定義されています。この指標は、製造、輸送、データセンターの建設に関連する体化排出量（スコープ 3）と、データセンターでのチップの運用に関連する運用排出量（スコープ 1 と 2）の両方を含めることで、チップレベルの全体像を提供します。

Ironwood のメリット: 高パフォーマンス、低フットプリント

Google の TPU CCI は、チップの世代ごとに改善され続けています。2026 年 1 月に測定された実証データによると、Ironwood は TPU v5p と比較して CCI が 3.7 倍も改善されています。これにより、TPU v4 と比較して TPU v5p の CCI が 1.2 倍向上し、Google のパフォーマンス最適化された TPU アーキテクチャの継続的な炭素効率の最適化が実証されています。

この効率性の向上は、マシンのエネルギー消費量と製造時の排出量の増加に比べて、TPU の世代間のコンピューティングパフォーマンスの向上が大きかったことによるものです。実際、TPU v5p から Ironwood までの全世代にわたるフリート全体の測定では、利用できる FLOP 数が 5 倍向上しています3。CCI の式（CO2e / FLOP）のパフォーマンス分母が排出量よりも速くスケールされるため、新しいチップごとに 1 オペレーションあたりの純炭素コストが大幅に低下します。

^{図 1: 2026 年 1 月のワークロードにおいて、Google のパフォーマンス最適化 TPU コホートで測定された Ironwood の CCI 改善の加速4}

Google の TPU フリートの運用効率がさらに向上

TPU CCI 指標が更新されたことで、2025 年に公開された測定値との直接比較も可能にしました。具体的には、2024 年 10 月から 2026 年 1 月にかけて、Google の汎用 TPU コホートは、以前の報告よりも効率的に動作しました。

TPU v5e では、15 か月間で CCI の合計が 43% 削減され、228 gCO2e / EFLOP になりました。これは、平均使用率が 72% 増加したことによるものです。
第 6 世代の TPU である Trillium では、同じ期間に CCI の合計が 20% 削減され、排出原単位は 125 gCO2e / EFLOP になりました。

^{図 2: Google の汎用 TPU コホートは、2024 年 10 月から 2026 年 1 月までの同じ TPU 世代におけるデプロイ効率の向上を示しています5。}

これらの結果は、Google が AI インフラストラクチャの炭素効率を継続的に改善していることを示しています。AI に対する大規模な需要により、大量の電力が必要とされ、その量は増え続けていますが、Google のイノベーションにより、消費電力の単位あたりで大幅に高いコンピューティングパフォーマンスを実現できるようになりました。

エネルギーと排出量をパフォーマンスから切り離す

これらの改善は、何に起因すると考えられるでしょうか。Ironwood のハードウェアの基本性能に加え、Google のインフラストラクチャ全体にわたるソフトウェアとシステムレベルの綿密な最適化によって、CCI の向上はさらに促進されています。

ソフトウェアの効率（MoE）: Mixture of Experts（MoE）などのスパースアーキテクチャが広く採用されることで、必要なパラメータにのみ計算がルーティングされます。これにより、モデルの容量や品質を犠牲にすることなく、推論やトレーニングのステップごとに必要なアクティブな FLOP を大幅に削減できます。
低精度演算（FP8）: 8 ビット浮動小数点（FP8）形式を多用することで、16 ビット形式と比較して、コンピューティングスループットを 2 倍に高め、メモリ帯域幅の要件を半分に削減しています。これは、数学演算あたりのエネルギーコストを指数関数的に削減しながら、出力品質を維持できることを示しています。
ワークロードのミックスとインテリジェントなスケジューリング: 高度なフリートオーケストレーションにより、インフラストラクチャ全体でワークロードのミックスが継続的にバランス調整されます。タスクをインテリジェントにスケジューリングすることで、継続的な使用率を高く保ち、デューティサイクルを最適化し、アイドル電力消費による二酸化炭素排出量を最小限に抑えます。

Google Cloud でサステナブルにスケーリング

AI の発展には、二酸化炭素排出量を同程度に急増させることなく、指数関数的にスケールできるインフラストラクチャが必要です。TPU v5p から Ironwood で炭素効率が 3.7 倍向上したことは、ハードウェアとソフトウェアの慎重な共同設計を通じて、エネルギーと環境フットプリントの増加を最小限に抑えながら、より高いコンピューティング密度を実現できることを示しています。Ironwood の詳細と利用方法については、こちらのフォームからご登録ください。

^{1. 2025 年 8 月の技術レポートで公開された手法に従い、2026 年 1 月時点の Google の各世代の TPU を対象として、TPU ハードウェアのライフサイクル全体の排出量を特定時点のスナップショットとして定量化しました。この調査の機能単位は、データセンターにデプロイされた 1 台の AI コンピュータです。これには、1 つのホストトレイ（つまり、コンピューティングサーバー）に接続された 1 つ以上のアクセラレータトレイ（TPU を含む）が含まれます。トレイ以外の周辺コンポーネント（ラック、棚、ネットワーク機器など）と補助的なコンピューティングリソースおよびストレージリソースは、体化排出量と運用排出量の計算から除外されます。データセンターの冷却に使用される電力は、運用排出量に含まれます。ワークロード実行の電力消費に伴う運用上の排出量を推定するために、TPU フリート全体のマシン電力データを観測して 1 か月分のサンプルを用意し、Google の 2024 年のフリート全体の二酸化炭素排出原単位の平均を適用しました。製造、輸送、廃棄に由来する体化排出量を推定するために、ハードウェアのライフサイクル評価を実施しました。データセンターの建設に伴う排出量は、Google が開示した 2024 年の温室効果ガス排出量に基づき推定されました。これらの調査結果は、モデルレベルの排出量を表しているわけではありません。また、AI に関連する Google の排出を完全に定量化したものでもありません。TPU のロケーションに応じて、特定のワークロードに対応する CCI の結果が変わる可能性があります。2. この論文の共同執筆者の Ian Schneider、Hui Xu、Stephan Benecke、Parthasarathy Ranganathan、Cooper Elsworth に対して、これらの結果を可能にするために多大な協力をしてくれたことに、著者一同から感謝を申し上げたいと思います。3. この比較では、2026 年 1 月に Google のフリートにデプロイされた TPU v5p チップと Ironwood チップの間で利用される FLOPS（BF16）を考慮しています。この傾向は、v5p（459 FLOPS）と Ironwood（2,307 FLOPS）の間のピーク FLOPS（BF16）の改善と一致しています。4. GHG プロトコルは、運用排出量について 2 つの会計基準を提供しています。ここで示す結果は、カーボンフリーエネルギーの購入による影響を含む、市場ベースの排出量を考慮したものです。カーボンフリーエネルギーの購入を除外するロケーションベースの会計では、運用 CCI はそれぞれ 793、712、195 gCO2e/EFLOP に上昇します。CCI の改善の割合は同程度で、Ironwood の体化 CCI は合計 CCI の 23% から 8% に減少します。5. さまざまな TPU 使用率で公平に比較できるように、この分析では 2025 年 8 月の技術レポートの傾向スコア加重手法を再現し、2026 年 1 月の結果を 2025 年に公開された結果と比較しています。この統計手法では、デューティサイクルの変動を調整して、特定の期間における TPU の比較のバランスを取ります。この経験的な手法により、計算された CCI の時間的期間間の変動が小さくなり、グローバルインフラストラクチャ全体での実際のエネルギー消費量とハードウェア使用率の変動が反映されます。}

- Google シニアデータサイエンティスト、Keguo（Tim）Huang

- Google 上級エンジニア、David Patterson

Firefly: データセンターでナノ秒レベルのクロック同期を実現するソリューション

Thu, 05 Mar 2026 01:00:00 +0000

※この投稿は米国時間 2026 年 2 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。

イベントをナノ秒単位の精度で同期する機能は、ウォール街の高頻度取引フロアからクラウドデータセンターのオーケストレーションまで、さまざまな場面で不可欠です。しかし、最新のデータセンターの相互接続された数千台のデバイス全体でこのレベルの時刻精度を実現するには、クロックドリフト、ネットワークジッター、パスの非対称性などの多数の課題に対処しなければなりません。従来、クラウドホスト型のインフラストラクチャでは高レベルの時刻精度を実現することは不可能であったため、特定のクラスのアプリケーションを実行できませんでした。

そこで登場したのが、Google の研究者とエンジニアが開発したクロック同期システム「Firefly」です。Firefly は単なるクロック同期プロトコルではありません。理論的な分析情報と実用的なエンジニアリングを組み合わせ、要求の厳しいデータセンター環境内のコモディティハードウェアで、超高精度かつスケーラブルな、費用対効果の高い時刻同期を実現するソフトウェア主導のアプローチです。

ナノ秒単位の競争: 正確なタイミングが重要である理由

正確なクロック同期は、分散システムの基盤です。金融取引所では、規制要件により協定世界時（UTC）への 100 マイクロ秒未満の外部同期が義務付けられており、公平性を確保するために 10 ナノ秒未満の内部クロック同期が求められているため、妥協は許されません。高頻度取引では、タイミングがわずかに優位であるだけで大きな利益につながる可能性があるため、正確なタイムスタンプは市場の健全性を保つために不可欠です。金融以外の分野でも、データベースの整合性、分散ロギング、仮想マシンの管理、ネットワークテレメトリーなど、多くのデータセンター運用で、イベントを正確な時間順に並べることが重要になっています。データセンターの拡大に応じて、堅牢かつスケーラブルな同期ソリューションの必要性がさらに高まっています。

しかし、動的なデータセンター環境でナノ秒レベルの同期を実現するには困難が伴います。次のようないくつかの要因によって、精度が損なわれます。

クロックドリフト: すべてのクロックの基本となる水晶発振器には、時間の経過に応じて徐々にずれが生じるという特有の欠陥があります。従来は、こうしたずれの影響は小さいと考えられていましたが、10 ナノ秒未満を目指す場合は大きな問題となります。
ジッター: スイッチやネットワークインターフェースカード（NIC）などのネットワークコンポーネントによって、予測不可能な遅延が発生します。ネットワークバッファでのキューイングやパケットの複雑な処理に起因することが多いこれらの遅延は、ジッターとして顕在化し、同期メッセージのタイミングを乱します。
非対称性: 2 台のデバイス間のネットワークパスが対称であることはほとんどありません。ケーブルの長さ、ホップ数、ネットワーク機器の内部動作の違いにより、信号が反対方向に伝わるまでにかかる時間が異なる場合があります。この非対称性が原因で、一方向の遅延とクロックオフセットを推定する際に大きなエラーが生じる可能性があります。
スケーラビリティ: データセンターが数万台のサーバーを収容するほどに拡大した場合、同期ソリューションも、ボトルネックになったり、不釣り合いなリソースを必要としたりすることなく、状況に応じて効率的に拡張できなければなりません。
フォールトトレランス: 分散システムでは、障害は避けられません。全体的な同期の精度が損なわれないよう、同期プロトコルには、個々のノードやネットワークリンクの損失または誤動作に対する復元力が必要です。

Firefly: ソフトウェアと理論の橋渡し

多面的な戦略を使用してこれらの課題に対処する Firefly は、従来の同期プロトコルとは一線を画しています。その主なイノベーションは、アーキテクチャ設計と理論的基盤に見出されます。

1. レイヤー型同期: Firefly は、レイヤー型同期という新技術を採用しています。単一障害点になる可能性や遅延を引き起こす可能性のある中央クロックに依存するのではなく、まずデータセンター内の NIC 間で緊密な内部同期を確立します。ネットワーク内の各 NIC は、常に一連のピアと通信し、時刻を比較して調整します。このデバイスの「群れ」から、グループ全体が合意する、非常に安定した正確なコンセンサスタイムが明らかになります。この内部同期は高速かつ堅牢であるため、外部のタイミングの乱れから効果的に保護されます。同時に、Firefly は「群れ」全体を UTC に同期します。これらの 2 つのプロセスを分離することは非常に重要です。なぜなら、タイムサーバーのジッターやドリフトなどの外部要因が内部同期に直接影響しないようにできるからです。

2. ランダムグラフ上の分散コンセンサス: 脆弱で単一障害点の影響を受けやすい従来の階層型アプローチとは異なり、Firefly は d 正則ランダムグラフ上に構築された分散コンセンサスアルゴリズムを使用します。つまり、各 NIC はランダムに選択された「d」個のピアと通信します。Firefly の研究論文に掲載されている理論分析から、このようなランダムグラフには次のような大きな利点があることが判明しています。

合致の高速化: ランダムグラフを使用することで、ネットワーク全体でのクロック情報のより迅速な伝播を促進し、より高速な同期につなげることができます。
スケーラビリティ: 理論上の限界では、ピアの数（「d」）がノードの総数に対して対数的にスケールする場合、ネットワークのサイズが大きくなってもランダムグラフは同期精度を維持できることが示されています。
非対称性に対する復元力: ランダムグラフに固有の多様なプローブパスにより、パスの非対称性の影響を平均化して軽減できます。

3. ジッターと非対称性を実際に軽減: ランダムグラフの理論上の利点に加えて、Firefly には精度をさらに高めるための実用的な手法が組み込まれています。

RTT フィルタリング: Firefly は、ラウンドトリップ時間（RTT）の測定値を分析することで、キューイングジッターの影響を受けている可能性が高いプローブサンプルを特定して破棄し、遅延推定の精度を向上させます。
パスプロファイリング: Firefly はネットワークパスを積極的にプローブし、非対称性が最小限のパスを特定して優先します。このプロアクティブなアプローチにより、同期に関して最も信頼性の高いパスを選択できます。
ハードウェアの活用: 利用可能な場合、Firefly はネットワークスイッチのトランスペアレントクロック（TC）などの機能を利用して、スイッチ内の遅延を正確に把握し、測定エラーをさらに低減します。

4. 堅牢性とフォールトトレランス: Firefly は分散コンセンサスを平均化メカニズムと組み合わせて使用するため、障害に対する本質的な復元力を備えています。単一のタイムサーバーや固定の階層構造に依存しないことで、個々のノードの損失または誤動作に適切に対処できます。

実環境でのパフォーマンス

Firefly の研究論文に掲載されている結果には説得力があります。

内部同期: Firefly は、Google の最新のデータセンターファブリック技術と組み合わせて使用すると、NIC 間で常に 10 ナノ秒未満の同期を実現します。これを使用して、マシン間のパケット、ログ、リモートプロシージャコール（RPC）などのイベントの順序を決定できます。
外部同期: また、金融取引所の規制要件である 100 マイクロ秒よりもはるかに優れた UTC への同期も可能です。

Firefly 同期ネットワークで 6 ホップ離れた 2 つのクロック間のオフセットを、オシロスコープで 1 秒あたり 1 パルスで測定。

次の動画は、1 秒あたり 1 パルス（1 PPS）で NIC から出力される信号を利用してオシロスコープで定量化された、NIC 間同期の精度を示しています。各行は NIC クロックに対応しており、立ち上がりエッジは NIC クロックが整数の秒数に達した瞬間を示しています。オシロスコープの観測では、測定されたすべての NIC がほぼ同期しており、数ナノ秒以内で合致していることがわかります。

Firefly はコモディティハードウェア上のソフトウェアのみで動作し、高価な専用の同期機器を必要としないことを考慮すると、この結果は特に素晴らしいものです。これにより、幅広いデータセンターアプリケーションが超高精度の時刻同期に対応できるようになります。

未来の可能性の基盤

スケーラブルかつ費用対効果の高い方法でナノ秒レベルの精度を実現した Firefly の成功は、広範囲に影響をもたらします。

高精度のタイミングの民主化: Firefly を使用すると、従来は高価な専用ハードウェアに依存していたクラウドホスト型の金融サービスで、標準的なクラウドインフラストラクチャを使用して必要な精度を実現できるようになります。
新たな用途への対応: データセンターのデバイス全体で同期された正確なクロックを利用できるようになると、きめ細かいネットワークテレメトリーと輻輳制御、時間調整された分散システム、ML ワークロードの確定的ファブリックなどの分野に新たな可能性がもたらされます。
データセンターの運用の変革: Firefly は、緊密に統合された正確なタイミングのコンピューティングエンティティを作成することで、データセンターの全体的な効率、信頼性、パフォーマンスを向上させることができます。

つまり、Firefly はクロック同期の分野における大きな進歩であると言えます。グラフ理論とコンセンサスアルゴリズムに関する理論的な分析情報と、実用的なネットワークエンジニアリング手法を巧みに組み合わせることで、複雑な分散環境でナノ秒レベルの精度を実現するという長年の課題を克服しています。データセンターが進化し続ける中、Firefly のようなシステムは、高性能で信頼性が高く公平な未来のインフラストラクチャを構築するうえで重要な役割を果たすでしょう。

- Google、プロダクトマネージャー、Rohit Dalal

- ソフトウェアエンジニア、Yuliang Li

Google の未来であるマルチアーキテクチャに向けて AI と自動化がその実現を支援

Tue, 28 Oct 2025 02:00:00 +0000

※この投稿は米国時間 2025 年 10 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。

Google 初の Arm® ベースのカスタム CPU である Google Axion プロセッサは、Google Cloud のお客様と Google のファーストパーティサービスにパフォーマンスとエネルギー効率の両方を提供するうえで大きな一歩となります。Google Cloud の同等のインスタンスと比較して、費用対効果が最大 65% 向上し、エネルギー効率が最大 60% 向上します。

Google の本番環境サービスを実行して、Axion プロセッサをテストしました。クラスタに x86 マシンと Axion Arm ベースのマシンの両方が含まれるようになったことで、Google の本番環境サービスは複数の命令セットアーキテクチャ（ISA）でタスクを同時に実行できるようになりました。現在、これは x86 向けにコンパイルされるほとんどのバイナリを x86 と Arm の両方に同時にコンパイルする必要があることを意味します。Google の環境には 10 万を超えるアプリケーションが含まれていることを考えると、これは容易なことではありません。

Google は最近、移行プロセスに関するレポート「Instruction Set Migration at Warehouse Scale」のプレプリントを公開しました。このレポートでは、Google の巨大な monorepo である Google3 に対して行われた 38,156 件の commitを分析しています。簡単に言うと、このレポートでは、Google が今日に至るまでに使用した日頃の取り組み、自動化、AI の組み合わせについて説明しています。現在、YouTube、Gmail、BigQuery など、Google のサービスを Arm と x86 の両方で同時に本番環境で提供しています。また、30,000 を超えるアプリケーションを Arm に移行しています。Arm ハードウェアは完全にサブスクライブされ、毎月さらに多くのサーバーがデプロイされています。

Google をマルチアーキテクチャにするための取り組みの 2 つのステップを簡単に見てみましょう。1 つは移行パターンの分析、もう 1 つはコードの移植における AI の使用の検討です。詳細については、レポート全文をご覧ください。

Google のすべてのサービスをマルチアーキテクチャに移行

x86 のみから Arm と x86 への移行に際して、マルチアーキテクチャチームとアプリケーションオーナーは、浮動小数点数のドリフト、並行性、プラットフォーム固有の演算子などの組み込み関数、パフォーマンスといったアーキテクチャの違いに時間を費やすことを想定していました。

最初に、F1、Spanner、Bigtable などの主要なジョブを、通常のソフトウェアプラクティスを使用して移行しました。週ごとにミーティングを行い、専任のエンジニアも配置しました。この初期段階で上記の問題の証拠が見つかりましたが、予想よりもはるかに少ないものでした。最近のコンパイラやサニタイザーなどのツールによって、予期せぬ事態はほぼ解消されています。その代わりに、大部分の時間を次のような問題の解決に費やしました。

既存の x86 サーバーに過適合したために失敗したテストを修正する
複雑なビルドシステムとリリースシステムを更新する（通常は最も古く、トラフィックが最も多いサービスの場合）
本番環境構成でのロールアウトの問題を解決する
重要なシステムを不安定にしないように注意する

この方法で 12 個のアプリケーションを Arm に移行したところ、完全に機能しました。クラスタ管理システムである Borg でアプリケーションを実行できたことを誇りに思っています。あるエンジニアは次のように述べています。「誰もがまったく異なるツールチェーンに固執し、すべてが壊れるだろうと[想定]していました。難しさの大部分を占めたのは、構成と退屈な作業でした」

しかし、いくつかの大きなジョブを移行して終わりというわけではありません。実行中のコンピューティングの約 60% は上位 50 のアプリケーションにありますが、Google の monorepo 内の残りのアプリケーション全体の使用率の曲線は比較的平坦です。複数のアーキテクチャで実行できるジョブが多いほど、Borg がそれらをセルに効率的に適合させやすくなります。Arm サーバーを有効活用するには、残りの 10 万以上のアプリケーションの長いリストに対処する必要がありました。

マルチアーキテクチャチームは、これほど多くのアプリケーションオーナーに効果的に連絡を取ることができませんでした。会議を設定するだけで膨大な費用がかかってしまいます。代わりに、自動化を利用することで、アプリケーションチーム自体の関与を最小限に抑えることができました。

自動化ツールマルチアーキテクチャへの移行を開始する前から Google で広く使用していたものを含め、自動化を支援するソースは多数ありました。これには次のものが含まれます。

Rosie : プログラムで大量の commit を生成し、コードレビュープロセスを管理できます。たとえば、ジョブのブループリントで Arm を有効にするための commit は、1 行で済みます。「arm_variant_mode = ::blueprint::VariantMode::VARIANT_MODE_RELEASE」
サニタイザー とファザー : x86 と Arm の実行における一般的な違い（x86 の TSO メモリモデルによって隠されるデータ競合など）を検出します。このような問題を事前に検出することで、新しい ISA に再コンパイルする際に、デバッグが困難な非決定的な動作を回避できます。
Continuous Health Monitoring Platform（CHAMP） は、マルチアーキテクチャジョブのロールアウトとモニタリングのための新しい自動化フレームワークです。クラッシュループやスループットの極端な低下など、Arm で問題を引き起こすジョブを自動的に削除し、後でオフラインでチューニングやデバッグを行えるようにします。

また、CogniPort という AI ベースの移行ツールの使用も開始しています。これについては後で詳しく説明します。

分析コード monorepo への 38,156 件の commit は、Bigtable のような大規模なジョブから無数の小さなジョブまで、ISA 移行プロジェクト全体の commit の大部分を占めていました。これらの commit を分析するために、commit メッセージとコードの差分を Gemini Flash LLM の 100 万トークンのコンテキストウィンドウに 100 件ずつ渡して、4 つの包括的なグループで 16 のカテゴリの commit を生成しました。

図 1: commit は 4 つの大きなグループに分類される。

最終的なリストが完成したら、モデルを通じて commit を再度実行し、16 のカテゴリのいずれかを各 commit に割り当てました（さらに「未分類」カテゴリを追加して、外れ値を捕捉することで分類の安定性を向上させました）。

図 2: 最初の 2 つのカテゴリのコード例。その他の例については、レポートをご覧ください。

この分析では、合計で約 70 万行の変更されたコードが対象となりました。ISA の移行のタイムラインをプロットし、1 日または 1 か月あたりのコード行数が時間とともに変化する様子を正規化しました。

図 3: カテゴリ別の CL 数（時間別、正規化済み）。

ご覧のとおり、マルチアーキテクチャツールチェーンの導入を開始したとき、最も多くの commit はツールとテストの適応に関するものでした。時間の経過とともに、移行した最初の数個の大きなアプリケーションに合わせて、コードの適応に関する commit の割合が大きくなりました。このフェーズでは、スケーリングの準備として、共有依存関係のコードを更新し、コードとテストの一般的な問題に対処することに重点を置きました。プロセスの最終フェーズでは、commit のほぼすべてが構成ファイルとサポートプロセスでした。また、この後半のフェーズでは、マージされた commit の数が急速に増加し、リポジトリ全体への移行のスケールアップが反映されていることがわかりました。

図 4: カテゴリ別の CL 数（時間別、未加工のカウント）。

全体として、移行に関連するほとんどの commit は小規模であることに注意してください。最大の commit は、多くの場合、単一のファイルに対するより本質的な複雑さや複雑な変更を示すものではなく、非常に大きなリストや構成に対するものです。

AI を使用した ISA 移行の自動化

最新の生成 AI 手法は、ISA 移行プロセスの残りの部分を自動化する機会をもたらします。このギャップを埋めるために、CogniPort というエージェントを構築しました。CogniPort は、ビルドエラーとテストエラーに対応します。プロセスのどの時点でも、Arm ライブラリ、バイナリ、テストがビルドされない場合や、テストがエラーで失敗した場合は、エージェントが介入して問題を自動的に修正しようとします。最初のステップとして、CogniPort のブループリント編集モードを使用して、簡単な変更には適さない移行 commit をすでに生成しています。

エージェントは、以下に示す 3 つのネストされたエージェントループで構成されています。各ループは LLM を実行して、推論の 1 ステップとツールの呼び出しを生成します。ツールが実行され、出力がエージェントのコンテキストにアタッチされます。

図 5: CogniPort

最も外側のエージェントループは、ビルド修正エージェントとテスト修正エージェントの 2 つのエージェントを繰り返し呼び出すオーケストレーターです。ビルド修正エージェントは、特定のターゲットをビルドし、ターゲットが正常にビルドされるか、エージェントが中止するまで、ファイルを修正します。テスト修正エージェントは、特定のテストを実行し、テストが成功するか、エージェントが中止するまで修正します（その過程で、ビルド修正エージェントを使用してテストのビルドの失敗に対処する場合があります）。

CogniPort のテスト

CogniPort の使用を高レベルにスケールアップしたのはごく最近ですが、AI の支援なしで作成された上記のデータセットから過去の commit を取得して、その動作をより正式にテストする機会がありました。クリーンにロールバックできる（他のすべてのカテゴリがこのアプローチに適しているわけではありません）コードとテストの適応（カテゴリ 1～8）の commit に焦点を当て、245 件の commit のベンチマークセットを生成しました。次に、commit をロールバックし、エージェントが commit を修正できるかどうかを評価しました。

図 6: CogniPort の結果

特別なプロンプトやその他の最適化を行わなかったにもかかわらず、初期テストでは 30% の確率で失敗したテストを修正することに成功するという、非常に有望な結果が得られました。CogniPort は、テストの修正、プラットフォーム固有の条件、データ表現の修正に特に効果的でした。このアプローチのさらなる最適化に注力することで、より大きな成功を収められると確信しています。

マルチアーキテクチャの未来

ここから、自動化で対応すべきアプリケーションがまだ数万件あります。将来のコードの増加に対応するため、すべての新しいアプリケーションはデフォルトでマルチアーキテクチャになるように設計されています。今後も CogniPort を使用してテストと構成を修正し、アプリケーションオーナーと協力してより複雑な変更にも対応していきます（このプロジェクトの教訓の一つは、オーナーが自分のコードをよく知っている傾向があることです）。

ただし、Google の monorepo を本番環境サービス向けにアーキテクチャニュートラルに移行するという目標については、さまざまな理由から自信を深めています。

本番環境サービスに使用されるすべてのコードは、巨大な monorepo で確認できます（現在も）。
マルチアーキテクチャアプリケーションのビルド、実行、デバッグに必要な構造的変更のほとんどは完了しています。
Rosie のような既存の自動化や最近開発された CHAMP により、当社がほとんど介入することなく、リリースとロールアウトのターゲットを拡大し続けることができます。
最後に、LLM ベースの自動化により、マルチ ISA Google フリートのアプリケーションの残りのロングテールの多くに対処できるようになります。

調査結果の詳細については、レポートをご覧ください。Google のチップ設計と、よりサステナブルなクラウドの運用方法については、g.co/cloud/axion で Axion についてお読みください。

このブログ投稿と関連するレポートは、非常に大規模なチームの作業を示すものです。このレポートは、Eric Christopher、Kevin Crossan、Wolff Dobson、Chris Kennelly、Drew Lewis、Kun Lin、Martin Maas、Parthasarathy Ranganathan、Emma Rapati、Brian Yang が、Arm の移植作業に取り組む数十名の Google 社員と共同で執筆しました。

-バイスプレジデント / エンジニアリングフェロー、Parthasarathy Ranganathan

-デベロッパーリレーションズエンジニア Wolff Dobson

機敏性のある AI アーキテクチャ: インテリジェントな時代の代替可能なデータセンター

Wed, 22 Oct 2025 02:00:00 +0000

※この投稿は米国時間 2025 年 10 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。

人間の健康、ソフトウェアエンジニアリング、教育、生産性、創造性、エンターテイメントなど、AI は私たちの生活のあらゆる側面を変革していると言っても過言ではありません。Google のこの 1 年間のいくつかの開発について考えてみましょう。Google Pixel 10 のマジックサジェストは、よりパーソナライズされたプロアクティブでコンテキストに関連性の高いサポートを提供しています。また、Nano Banana Gemini 2.5 Flash の画像生成は、クチコミで広がりました。さらに、Code Assist はデベロッパーの生産性を向上させ、AlphaFold では開発者がノーベル化学賞を受賞しました。AI におけるこの 1 年はまるで 10 年のようだったとよく冗談を言っています。

AI のこうした進歩を支えているのは、AI を強化するコンピューティングインフラストラクチャの驚くほどの同様の進歩です。AI 研究者が新しい世界を発見する宇宙探検家だとすれば、システムとインフラストラクチャの設計者はロケットを建造する人です。しかし、AI サービスの需要に対応するには、さらに多くのことが求められます。Google は今年の Google I/O において、Gemini モデルで処理される月間トークン数が年間で約 50 倍に増加し、月間 480 兆個に達したことを発表しました。その後、さらに 2 倍の成長を遂げ、月間トークン数は 1,000 兆個近くに達しました。他の統計でも同様の傾向が見られ、AI アクセラレータの消費量はこの 24 か月で 15 倍に、Hyperdisk ML のデータは一般提供の開始以来 37 倍にそれぞれ増加しています。また、AI を活用した小売検索クエリも、1 か月あたり 50 億件を超えています。

優れた AI には優れたコンピューティングが必要

このような成長には、新たな課題が伴います。データセンターとシステムを計画する際は、ハードウェアの構築に時間がかかるため、リードタイムも長くなります。しかし今、AI の需要予測は動的かつ劇的に変化しており、需要と供給に大きな乖離が生じています。この不一致については、極端な変動と成長に対応できる新しいアーキテクチャとシステム設計のアプローチが要求されます。

テクノロジーの急速なイノベーションは不可欠ですが、スタック全体で慎重に進める必要があります。たとえば、AI ハードウェア（TPU や GPU など）の世代ごとに新しい機能だけでなく、電力、ラック、ネットワーキング、冷却の要件も導入されています。これらの新世代の導入率も上昇しており、こうした大きな変化に対応できる一貫したエンドツーエンドシステムを構築することが困難になっています。また、フォームファクタ、ボード密度、ネットワーキングトポロジ、電力アーキテクチャ、液体冷却ソリューションなどの変更はすべて、異種性を徐々に増大させます。そのため、これらを総合すると、システムとデータセンターの設計、デプロイ、保守の複雑さが組み合わさることになります。さらに、複数の地理的リージョンの全体で従来のハイパースケーラーを超えるさまざまなデータセンター施設、「ネオクラウド」でのクラウドに最適化されたサービス、業界標準のコロケーションプロバイダを設計する必要があります。これにより、多様性とダイナミズムがさらに加わり、新しい AI 時代に向けたデータセンター設計がさらに制約されることになります。

動的な成長への対応と異種性の増大という 2 つの課題に対処するには、代替性と機敏性を最優先事項としてデータセンターを設計する必要があります。アーキテクチャは、コンポーネントを個別に設計してデプロイできるモジュール式であり、異なるベンダーや世代間で相互運用可能であることが必要です。同様に重要なのは、施設とシステムを遅延結合して、動的に変化する要件に対応できるようにすることです（たとえば、ある世代向けに設計されたインフラストラクチャを次の世代に再利用するなど）。また、データセンターは合意された標準インターフェースに基づいて構築する必要があるため、データセンターへの投資を複数の顧客セグメントで再利用できます。最後に、これらの原則は、データセンターのすべてのコンポーネント（電力供給、冷却、サーバーホールの設計、コンピューティング、ストレージ、ネットワーキング）の全体に適用する必要があります。

優れたコンピューティングには優れた電力（冷却とシステム）が必要

電力における機敏性と代替性を実現するには、電力の供給と管理を標準化して、ラックの電力レベルでの共通のインターフェースなど、復元力のあるエンドツーエンドの電力エコシステムを構築する必要があります。Google は Open Compute Project（OCP）の他のメンバーとの連携の下、+/-400VDC の設計に関する新しいテクノロジーと、サイドカー電源（別名 Mt. Diablo）を使用してモノリシックソリューションから分離型ソリューションに移行するアプローチを導入しました。低電圧 DC 電源とソリッドステート変圧器を組み合わせたような新しい有望なテクノロジーにより、これらのシステムを将来の完全統合型データセンターソリューションに移行できるようになります。

また、バッテリー駆動のストレージやマイクログリッドに関する標準化とともに、データセンターが電力網の消費者だけでなく供給者にもなるためのソリューションを評価しています。Google はこうしたソリューションを AI トレーニングワークロードの「とげ」に関する課題に対処するためにすでに活用しており、電力効率性と系統電力使用量に関するさらなる節約のために適用しています。

同時に、データセンターの冷却も AI 時代に向けて再考されています。今年、Google は Open Compute コミュニティに提供した最先端の液体冷却ソリューションである Project Deschutes を発表し、仕様と設計資料を公開しています。コミュニティは積極的に対応しており、Boyd、CoolerMaster、Delta、Envicool、Nidec、nVent、Vertiv などの液体冷却サプライヤーは、今年の OCP Global Summit や SuperComputing 2025 などの主要なイベントでデモを披露しています。しかし、業界標準の冷却インターフェース、リアドア熱交換器といった新しいコンポーネント、信頼性など、コラボレーションの機会は他にもあります。特に重要な分野の一つは、コロケーションとサードパーティのデータセンター全体でレイアウトと設備の範囲を標準化することです。これにより、業界としてさらに代替性を実現できます。

最後に、サーバーホールのコンピューティング、ネットワーキング、ストレージを統合する必要があります。これには、ラックの高さ、幅、奥行き（最近では重量も）、通路の幅とレイアウト、ラックやネットワークインターフェースなど、データセンター設計の物理的属性が含まれます。また、これらの未来のデータセンターを構築、維持するためのテレメトリとメカトロニクスの標準も必要です。Google は OCP パートナーとともに、ベストプラクティスの確立、共通の命名規則と実装の開発、標準のセキュリティプロトコルの作成など、サードパーティデータセンターのテレメトリー統合を標準化しています。

Google は、物理インフラストラクチャだけでなく、よりスケーラブルで安全なシステムのためのオープンスタンダードを提供するためにパートナーと連携しています。主な機能は以下のとおりです。

レジリエンス: Google は、GPU の管理性、信頼性、保守性に関する長年の取り組みを拡大し、CPU のファームウェアアップデートとデバッグ可能性を対象に追加しました。
セキュリティ: オープンソースのハードウェアルートオブトラストである Caliptra 2.0 がポスト量子暗号で将来の脅威からの防御を提供し、OCP S.A.F.E. によってセキュリティ監査がルーティン化され、費用対効果が高まります。
ストレージ: Caliptra の基盤をベースに構築されている OCP L.O.C.K. が、あらゆるストレージデバイスに対応するオープンソースの堅牢な鍵管理ソリューションを提供します。
ネットワーキング: 輻輳信号（CSIG）が標準化され、ロードバランシングの改善が測定されています。SONiC の継続的な進歩とともに、光回路スイッチングを標準化する新たな取り組みが進行中です。

持続可能性は Google の業務に組み込まれています。そこで、AI による環境への影響に関する分析情報を提供するために、新たな AI ワークロードのエネルギー、排出量、水への影響を測定するための新しい手法を開発しました。これにより、Gemini アプリのテキストプロンプトの中央値では、水の消費量が 5 滴未満で、エネルギー消費量はテレビを 9 秒未満視聴する程度であることが判明しています。Google は、エンボディドカーボン排出量に関する開示仕様、グリーンコンクリート、クリーンなバックアップ電源、製造時の排出量削減を対象とする他のコラボレーションについても、OCP コミュニティの全体でこの種のデータドリブンアプローチを採用しています。

CTA: コミュニティ主導のイノベーションと AI のための AI

Google は、コミュニティのコラボレーションの複合的な力を実証してきたオープンエコシステムと長年にわたって協力してきました。AI 時代に向けて機敏で代替可能なデータセンターを設計するにあたって、その経験を活かすことができます。代替可能で機敏性のあるデータセンターの共通標準と最適化に関する新しい OCP Open Data Center for AI Strategic Initiative にぜひご参加ください。

AI の次の成長の波と、それがもたらす驚くべき進歩を見据え、生産性とイノベーションを増幅させるために、私たち自身の仕事でこうした AI の進歩を活用する必要があります。初期の例としては、チップ設計を加速させて最適化するために AI を利用している Deepmind の AlphaChip が挙げられます。システムにおける AI の有望な用途は、ハードウェア、ファームウェア、ソフトウェア、テストをまたいで、パフォーマンス、機敏性、信頼性、持続可能性を目的に、設計、デプロイ、保守、セキュリティの全体でますます増えています。こうした AI で強化された最適化とワークフローによって、データセンターに新しい桁違いの改善がもたらされます。今後のイノベーションと、その推進に向けた皆様の継続的なご協力を心待ちにしています。

-バイスプレジデント兼エンジニアリングフェロー Parthasarathy Ranganathan

-Google Cloud、AI およびインフラストラクチャ担当バイスプレジデント兼ゼネラルマネージャー Amin Vahdat

熱を帯びる AI インフラストラクチャに効果的な新しい電力分配と液体冷却のインフラストラクチャ

Tue, 13 May 2025 01:01:00 +0000

※この投稿は米国時間 2025 年 4 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。

AI がコンピューティング環境を根本的に変え、データセンターインフラストラクチャにはかつてないほどの進歩が求められています。Google は、AI の継続的なスケーリングにとって、物理的なインフラストラクチャ（全体を支える電力、冷却、機械の各システム）は単に重要であるだけでなく、不可欠なものであると考えています。

Google は Open Compute Project（OCP）と長年にわたって連携してきました。OCP は、業界内のコラボレーションと、インフラストラクチャにおけるオープンイノベーションの推進に貢献してきた組織です。Google は、今回の 2025 OCP EMEA Summit において、直流 48 ボルト（VDC）から新しい +/-400 VDC への電力供給の変革についてお話ししました。これにより、IT ラックを 100 kW から最大 1 MW までスケールできるようになります。また、第 5 世代の冷却水循環装置である Project Deschutes の情報を OCP に提供し、業界全体での液体冷却の推進を支援することもお伝えしました。

aside_block: <ListValue: [StructValue([('title', 'Google Cloud を無料で試す'), ('body', <wagtail.rich_text.RichText object at 0x7f7550ad5220>), ('btn_text', '無料で開始'), ('href', 'https://console.cloud.google.com/freetrial?redirectPath=/welcome'), ('image', None)])]>

IT ラックあたり 1 MW で電力供給を変革

Google には、データセンターの電力供給を進化させてきた長い歴史があります。Google は 10 年ほど前に、一般的な 12 VDC ソリューションよりも電力分配の効率を大幅に向上させ、損失を減らすことを目指して、IT ラック内での 48 VDC の採用を提唱しました。業界は、このテクノロジーの共同開発を呼びかける Google の要請に応え、その結果完成したアーキテクチャは正常に機能し、IT ラックの 10 kW から 100 kW までのスケーリングを可能にしました。

AI 時代には、2 つの異なる理由から、より優れた電力供給能力が必要になります。1 つ目は、ML により 2030 年までに IT ラックあたり 500 kW 以上の電力が必要になることです。2 つ目は、各 IT ラックの高密度化です。IT ラック内のスペースは寸分余すところなく、密接に相互接続された「xPU」（GPU、TPU、CPU など）に使用されています。このため、電源コンポーネントとバッテリーバックアップを IT ラックの外に置いた、はるかに高い電圧の DC 電力分配ソリューションが必要になっています。

そこで、ラックあたり最大 1 MW に対応できる +/-400 VDC 電力供給をご紹介します。これは、単に電力供給能力を増やす以上の意味を持ちます。400 VDC を公称電圧として選択することで、電気自動車（EV）によって確立されたサプライチェーンを活用し、スケールメリットの拡大、製造効率の向上、品質と規模の改善などを実現できます。Google は Mt Diablo プロジェクトの一環として、OCP で Meta および Microsoft と協力して、電気的および機械的なインターフェースの標準化に取り組んでいます。仕様書の第 0.5 版のドラフトを 5 月に公開し、業界のフィードバックを募る予定です。

この取り組みで最初に具体化されたのは、IT ラックから電源コンポーネントを分離する AC / DC サイドカー電源ラックです。このソリューションにより、エンドツーエンドの効率を約 3% 向上させながら、IT ラック全体を xPU に使用できるようになります。長期的には、データセンター内とラックに高電圧の DC 電力を直接分配し、電力の密度と効率をさらに高めることを検討しています。

+/-400 VDC の電力供給: AC / DC サイドカー電源ラック

液体冷却の必要性

100 W のチップから 1,000 W を超えるアクセラレータまで、チップの消費電力が劇的に増加したため、高度な熱管理が不可欠になっています。より高電力のチップをラックに搭載することにより、冷却密度にも大きな課題が生じます。そこで、優れた熱特性と水力特性を備えた液体冷却が明確なソリューションとして浮上しました。水は、空気と比較して、同じ温度変化に対して単位体積あたり約 4,000 倍の熱を運ぶことができます。また、水の熱伝導率は空気の約 30 倍です。

Google は、過去 7 年間に 2,000 台以上の TPU Pod にわたって液体冷却をギガワット規模で導入し、驚異的な稼働率（一貫して約 99.999%）を実現してきました。Google が初めて液体冷却を使用したのは、2018 年に導入した TPU v3 です。液冷式 ML サーバーは、かさばるヒートシンクの代わりにコンパクトなコールドプレートを使用するため、空冷式 ML サーバーの半分近くの体積で済みます。このため、液冷式 TPU v3 スーパーコンピュータは、空冷式の TPU v2 世代と比較して、チップ密度が 2 倍、規模が 4 倍になりました。

Google は、TPU v3 と TPU v4 から TPU v5、そして最新の Ironwood まで、世代を重ねてこのテクノロジーを改良し続けてきました。Google の実装では、列内の冷却水循環装置（CDU）とともに、冗長コンポーネントと無停電電源装置（UPS）を使用することで、高可用性を実現しています。これらの CDU は、ラックの液体ループを施設のループから分離し、マニホールド、フレキシブルホース、そして高電力のチップに直接取り付けられたコールドプレートを通じて、制御された高性能の冷却システムを提供します。Project Deschutes と名付けられた Google の CDU アーキテクチャでは、ポンプと熱交換器ユニットを冗長化することで、2020 年以降、前述の CDU の可用性（約 99.999%）を一貫してフリート全体で達成しています。

現在開発中の第 5 世代の Project Deschutes CDU は、今年 OCP に提供する予定です。システムの詳細、仕様、ベストプラクティスを含むこの貢献は、業界において広範囲で液体冷却の導入を促進することを目的としています。Google の知見は、4 世代の TPU にわたり、約 10 年かけて液体冷却を設計、導入してきた経験に基づくもので、次の内容が含まれます。

高い冷却性能を実現する設計
製造品質
信頼性と稼働時間
導入のスピード
優れた保守性と運用性
サプライエコシステムの進化

Project Deschutes CDU: 導入された第 4 世代、コンセプト段階の第 5 世代

次世代の AI に備える

電力供給と液体冷却において業界が大きな進歩を遂げたことは、Google にとって励みになっています。しかし、AI ハードウェアの開発が加速するなか、データセンターが次の段階に備えられるよう、業界全体でペースを速めなければならないことは明らかです。Google は特に、近日公開される Mt Diablo の仕様により、+/-400 VDC が業界で迅速に採用される可能性に期待しています。また、業界の皆様には、Project Deschutes CDU の設計を採用し、Google の液体冷却に関する豊富な知見を活用することを強くおすすめします。こうした進歩を受け入れ、より深いコラボレーションを促進することで、さらに大きな影響をもたらすイノベーションがこの先に待っていると信じています。

- プリンシパルエンジニア、Madhusudan Iyengar
- Google、プリンシパルエンジニア、Amber Huffman

電力のバランス: ML インフラストラクチャの電力量と温度の変動に対処するためのフルスタックアプローチ

Thu, 20 Feb 2025 02:00:00 +0000

※この投稿は米国時間 2025 年 2 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。

最近の ML アプリケーションの急増に伴い、これらのアプリケーションの基盤となるデータセンターインフラストラクチャにおいて、かつてない電力供給の需要が生じています。従来のデータセンターのサーバークラスタでは、何万ものワークロードが相関関係のない電力プロファイルで共存しているのに対し、大規模なバッチ同期 ML トレーニングワークロードの電力使用パターンは大幅に異なります。これらの新しい電力使用条件により、ML インフラストラクチャの信頼性と可用性を確保しつつ、データセンターのグッドプットやエネルギー効率を向上することがますます難しくなっています。

Google は、数十年にわたってデータセンターインフラストラクチャ設計の最前線に立ち、多数のイノベーションを達成してきました。このブログ投稿では、Google Could の ML インフラストラクチャにおいて、かつてない電力量および温度の変動を管理することを可能にした主要なイノベーションの一つをご紹介します。このイノベーションは、ASIC チップからデータセンターまで、ハードウェアとソフトウェアの両方で、スタック全体にわたる設計を連携させることでどれほどのことが成し遂げられるかを実証します。このアプローチの影響についても言及し、業界全体に対して行動を喚起します。

新しい ML ワークロードにより生じる ML の新たな電力問題

昨今の ML ワークロードには、数万のアクセラレータチップとそのホスト、ストレージ、ネットワーキングシステム全体での同期コンピューティングが求められています。これらのワークロードは、しばしば 1 つのデータセンタークラスタ全体を占有し、複数のクラスタにまたがることもあります。これらのワークロードのピーク電力使用量は、基盤となるすべての IT 機器の定格電力に近づくこともあり、電力のオーバースクリプションが非常に困難になります。さらに、少数の大規模 ML ワークロードがクラスタ全体の電力使用量の大部分を占めるため、アイドル状態とピーク使用レベルの間で消費電力が急激に変動します。このような電力使用量の変動は、ワークロードが開始または終了したとき、あるいは停止、再開、再スケジュールされたときに見られます。通常のワークロード実行中にも同様のパターンが観察されることがあります。これは主に、同じトレーニングステップにおいて、コンピューティング負荷の高いフェーズとネットワーキング負荷の高いフェーズがワークロードで交互に発生することに起因しています。ワークロードの特性によっては、これらのジョブ間やジョブ内の電力量変動が非常に頻繁に発生することがあります。これにより、データセンターインフラストラクチャの機能性、パフォーマンス、信頼性に予期せぬ影響をもたらすことがあります。

図 1. 大規模な同期 ML ワークロードにおいて、クラスタレベルで見られる電力量の大きな変動

実際、Google Cloud での最新のバッチ同期 ML ワークロードを専用の ML クラスタで実行したところ、図 1 に示すように、電力量に数十メガワット（MW）の変動が観察されました。従来の負荷変動プロファイルと比較すると、変化速度はほぼ瞬時であり、数秒ごとに繰り返され、数週間あるいは数か月継続する可能性があります。

このような変動は、以下のようなリスクをもたらします。

ラックとデータセンター機器の機能性と長期的な信頼性へのリスク。これは、ハードウェアに起因する停止、エネルギー効率の低下、整流器、変圧器、発電機、ケーブル、バスウェイなどの運用 / メンテナンス費用の増加を引き起こします。
アップストリームの電力会社における破損、停止、スロットリングのリスク。これには、電力使用プロファイルに関する電力会社との契約条項に対する違反と、それに伴う費用も含まれます。
電力量の大きな変動による意図しない頻繁な無停電電源装置（UPS）システムの作動に対するリスク。これにより、UPS システムの寿命が短縮されます。

電力量の大きな変動は、チップやシステムごとの小さな規模でもハードウェアの信頼性に影響を与えることもあります。最大温度は問題なく制御されますが、電力量の変動は依然として大きな温度変動を頻繁に引き起こし、反り、サーマルインターフェースマテリアルの特性変化、エレクトロマイグレーションなどのさまざまな相互作用が発生する可能性があります。

aside_block: <ListValue: [StructValue([('title', 'Google Cloud を無料で試す'), ('body', <wagtail.rich_text.RichText object at 0x7f754df811c0>), ('btn_text', '無料で開始'), ('href', 'https://console.cloud.google.com/freetrial?redirectPath=/welcome'), ('image', None)])]>

事前の電力形成に対するフルスタックアプローチ

Google Cloud のデータセンターインフラストラクチャは非常に複雑かつ大規模であるため、ワークロードの電力プロファイルを事前に形成することが、単に電力プロファイルに適応するよりも効率的であると考えました。Google のスタック全体にわたる包括的な連携設計（チップからデータセンター、ハードウェアからソフトウェア、命令セットから実際のワークロードまで）は、ワークロードの電力プロファイルを制御し、弊害をもたらす変動を緩和するために、非常に効率的なエンドツーエンドの電力管理機能を実装するために必要なすべての要素を提供します。

具体的には、TPU コンパイラに計測手法を導入し、同期フラグなど、電力量の変動に関連するワークロードの兆候を確認します。その後、フラグに合わせて TPU の主要なコンピューティングブロックのアクティビティを動的に分散させ、使用量の変動をよりなだらかにします。これにより、パフォーマンスのオーバーヘッドを最小限に抑え、電力量と温度の変動を緩和することを目指します。今後は、同様のアプローチをワークロードの開始フェーズと終了フェーズにも適用し、電力レベルが急激に変化するのではなく、徐々に変化するようにすることを検討しています。

このコンパイラベースのアプローチを実装して電力プロファイルを形成し、現実的なワークロードに適用しました。緩和策を実装した場合としない場合のシステム全体の消費電力を図 2 に、特定のチップのホットスポット温度を測定した結果を図 3 に示します。テストケースでは、ベースラインケースと緩和策を実装したケースを比較すると、電力量の変動がほぼ 50% 減少しました。温度の変動は、ベースラインケースの 20°C から、緩和策を実施したケースでは 10°C に減少しました。平均消費電力とトレーニングステップの長さの増加による緩和策のコストを計測しました。緩和パラメータを適切に調整することで、パフォーマンスへの影響を 1% 未満に抑え、平均電力量のわずかな増加でこの設計のメリットを享受できることが確認できました。

図 2. コンパイラベースの緩和策を実装した場合と実装しない場合の電力量の変動

図 3. コンパイラベースの緩和策を実装した場合と実装しない場合のチップの温度変動

行動喚起

ML インフラストラクチャは急速に増大しており、総電力需要において、今後数年間で従来のサーバーインフラストラクチャを超えると予想されています。それと同時に、ML インフラストラクチャの電力量と温度の変動は独特であり、ML ワークロードの特性と密接な関係があります。これらの変動を緩和する取り組みは、信頼性の高い高パフォーマンスのインフラストラクチャを確保するための、数多くのイノベーションの一例にすぎません。Google Cloud は、上記の方法に加え、データセンターの水冷、垂直電力供給、電力を考慮したワークロード割り当てなどのさまざまな革新的手法に投資することで、増え続ける電力と温度の課題に対処しています。

ただし、これらの課題は Google に固有のものではありません。ML インフラストラクチャの電力量と温度の変動は、多くのハイパースケーラーやクラウドプロバイダ、インフラストラクチャプロバイダにとって共通の課題となっています。システムのあらゆるレベルでパートナーが必要です。

電力供給会社が、許容される電力品質の指標に関する標準的な定義を設定する（特に、同じ送電網内に電力量の変動が大きい複数のデータセンターが共存し、相互に影響しあう状況にある場合）

電力装置および冷却装置のサプライヤーが、特に電力量と温度の変動が大きく頻繁に起こる使用状況を想定した電子部品の品質と信頼性の向上を実現する

ハードウェアサプライヤーとデータセンター設計者が、ラックレベルのキャパシタバンク（RLCB）やオンチップ機能などの標準化されたソリューションスイートを提供し、効率的なサプライヤー基盤とエコシステムの確立を支援する

ML モデルデベロッパーが、モデルのエネルギー消費特性を考慮し、エネルギーの変動に対処するために低レベルのソフトウェア緩和策を追加することを検討する

Google は、データセンターインフラストラクチャ業界全体が恩恵を得られるよう、Open Compute Project（OCP）などのフォーラムを通じて、これらの問題に関する業界全体での協力を推進し、提唱してきました。今後も知見を共有し、新しい革新的なソリューションを協力して開発することを楽しみにしています。

今回協力してくれた Google Cloud の Denis Vnukov、Victor Cai、Jianqiao Liu、Ibrahim Ahmed、Venkata Chivukula、Jianing Fan、Gaurav Gandhi、Vivek Sharma、Keith Kleiner、Mudasir Ahmad、Binz Roy、Krishnanjan Gubba Ravikumar、Ashish Upreti、Chee Chung に感謝します。

-テクニカルリードマネージャー、Houle Gan
-VP / エンジニアリングフェロー、Parthasarathy Ranganathan

スピード、スケール、信頼性: Google データセンターネットワーキングの 25 年間の進化

Thu, 07 Nov 2024 01:00:00 +0000

※この投稿は米国時間 2024 年 10 月 31 日に、Google Cloud blog に投稿されたものの抄訳です。

「ローマは一日にして成らず」ということわざは、Google のネットワークにも当てはまります。Google は 25 年の年月をかけて、スケールが大きく技術的に洗練された現在のネットワークインフラストラクチャを構築するに至りました。

Google のネットワークインフラストラクチャは、当初は比較的単純なものだったため、このことはより感慨深く感じられます。しかし、ユーザーベースとサービスに対する需要が飛躍的に拡大するにつれ、前例のないスケールのデータとトラフィックを処理できること、また、経時的に変化するワークロードに応じて動的なトラフィックパターンに適応できるネットワークが必要であることが明らかになりました。このことが数々のエンジニアリングのイノベーションとマイルストーンを刻む 25 年間の旅の始まりとなり、最終的に現在の第 5 世代 Jupiter データセンターネットワークアーキテクチャへとつながりました。Jupiter アーキテクチャは、13 Pb（ペタビット）/秒の二分割帯域幅にスケーリングが可能です。このデータレートをたとえると、このネットワークによって地球上の全人口 80 億人によるビデオ通話（1.5 Mb/秒）をサポートできることになります。

現在、世界中に数百の Jupiter ファブリックが展開されており、数百のサービス、1 日あたり数十億人のアクティブユーザー、Google Cloud のすべての顧客、世界最大級の ML トレーニングおよびサービスインフラストラクチャを同時にサポートしています。以下に、Google のこれまでの道のりについて、次世代のデータセンターネットワークインフラストラクチャを見据えつつ、さらに詳しくお話ししたいと思います。

aside_block: <ListValue: [StructValue([('title', 'Google Cloud のネットワーキングを試用できる $300 分のクレジット'), ('body', <wagtail.rich_text.RichText object at 0x7f754d4573d0>), ('btn_text', '無料で始める'), ('href', 'http://console.cloud.google.com/freetrial?redirectpath=/products?#networking'), ('image', None)])]>

指針となった原則

Google のネットワークは、いくつかの重要な原則に基づいて進化してきました。

あらゆるものを、どこでも: Google のデータセンターネットワークは、同じネットワークファブリック内の 10 万台以上のサーバーのどこにでも大規模なジョブを配置でき、必要なストレージやサポートサービスに高速でアクセスできるようにすることで、効率性と簡素化を実現しています。このスケールにより、内部および外部のワークロードに対するアプリケーションのパフォーマンスが向上し、内部の断片化が解消されます。
予測可能、低レイテンシ: 余裕を持った帯域幅をプロビジョニングし、99.999% のネットワーク可用性を維持し、エンドホストとファブリックの連携を通じて輻輳を積極的に管理することで、一貫したパフォーマンスを優先してテールレイテンシを最小限に抑えます。
ソフトウェア定義、システム中心: 柔軟性とアジリティを実現するソフトウェア定義ネットワーキング（SDN）の活用により、グローバルネットワーク全体で、2 週間ごとに数十もの新機能を検証し、世界規模でリリースしています。
段階的な進化と動的なトポロジ: 段階的な進化は、ネットワークを（全体的にダウンさせるのではなく）きめ細かく更新するのに役立ちます。一方、動的なトポロジは、変化するワークロードの需要に継続的に適応するのに役立ちます。光回路スイッチと SDN の組み合わせにより、物理的なインプレースアップグレードや、単一のファブリックで複数世代のハードウェアをサポートする、進化し続ける異種混在ネットワークに対応できます。
トラフィック エンジニアリングとアプリケーション中心のサービス品質: トラフィックフローを最適化し、サービス品質を確保することで、各アプリケーションのニーズに合わせてネットワークを調整できます。

上述の原則を統合することが、Google の取り組みの基盤となっています。Google のネットワークは、ストレージから AI に至るまで、あらゆるコンピューティングサービスにおける信頼性の基盤です。そのため、ネットワークを確実に保護し、障害発生時の影響を最小限に抑える必要があります。この基本的な責任をサポートするために、Google はグローバルネットワーク全体の数百のクラスタと数百万のポートで、あらゆるダウンタイム1を厳密に定義し、モニタリングしています。信頼性に関する進歩は、Google 社内のソフトウェア定義 Jupiter ネットワークが、以前のバージョンのデータセンターネットワークよりも 50 倍の信頼性を達成していることにも表れています。

2015 年 - Jupiter、最初のペタビットネットワーク

Google は、影響力のある論文において、Jupiter データセンターネットワークが市販のスイッチシリコン、Clos トポロジ、ソフトウェア定義ネットワーク（SDN）を活用することで、総帯域幅 1.3 Pb/秒にスケールできることを紹介しました。この世代の Jupiter は、Google ネットワーキングチームによって社内で開発された 5 世代分のデータセンターネットワークの集大成です。当時、このデータレートは、Google の 1 つのデータセンターにおけるものでしたが、世界中のインターネットにおける IP トラフィックの総データレートの推定値を上回るものでした。

2022 年 - 6 Pb/秒の実現

2022 年には、Jupiter ネットワークが 6 Pb/s 超にスケールされたことを発表しました。これは、光回路スイッチ（OCS）、波長分割多重方式（WDM）、スケーラビリティに優れた Orion SDN コントローラが組み込まれたことによるものです。これらのテクノロジーにより、段階的なネットワーク構築、パフォーマンス向上、費用削減、消費電力削減、動的なトラフィック管理、シームレスなアップグレードなど、さまざまな進歩がもたらされました。

2023 年 - 13 Pb/秒のネットワーク

Jupiter をさらに強化し、ネットワークコアにおいてネイティブで 400 Gb/秒のリンク速度をサポートしました。Jupiter ネットワークの基本的な構成要素（集約ブロック）は、現在、エンドホストとデータセンターの残りの部分の両方に対して 400 Gb/秒で接続される 512 ポートで構成されており、1 ブロックあたり合計 204.8 Tb/秒の双方向ノンブロッキング帯域幅を実現しています。このようなブロックを 64 個サポートしているため、合計の二分割帯域幅は 64 × 204.8 Tb/秒 = 13.1 Pb/秒となっています。このテクノロジーは 1 年以上にわたって Google の本番環境データセンターを支えており、AI、ML、ウェブ検索などの大量のデータを扱うアプリケーションの急速な進歩を後押ししています。

2024 年以降 - AI 時代のエクストリームネットワーキング

データセンターネットワーキングにおける 20 年以上にわたるイノベーションを祝う一方で、Google は AI 時代をサポートする次世代のネットワークインフラストラクチャの方向性をすでに描き始めています。たとえば、今後登場予定の A3 Ultra VM（NVIDIA ConnectX-7 ネットワーキングを搭載し、RoCE（RDMA over Converged Ethernet）経由でサーバーあたり 3.2 Tbps のノンブロッキング GPU 間トラフィックをサポート）や、NVIDIA GB200 NVL72 をベースとした将来のプロダクトなど、ネットワークインフラストラクチャのニーズに向けた業務に取り組んでいます。

今後数年の間に、ポート単位およびネットワーク全体で、ネットワークの規模と帯域幅を大幅に拡張していきます。また、トランスポートや輻輳の制御スタックなど、エンドホストにおける統合の限界を押し広げ、ネットワークステージを合理化して、外れ値を削減しさらに低いレイテンシを実現していきます。リアルタイムトポロジエンジニアリング、コンピューティングスタックおよびストレージスタックとのより緊密な統合、ホストベースのロードバランシング手法の継続的な改良により、ネットワークの信頼性とレイテンシのさらなる改善を図ります。これらのイノベーションにより、Google のネットワークは、世界中のユーザーの生活を豊かにする革新的なアプリケーションやサービスの基盤であり続けると同時に、Google の内部サービスと Google Cloud プロダクトの両方を支える画期的な AI 機能もサポートしていきます。

これらの課題と機会に対処し、Google のネットワーキングにとって次の 25 年がどのようなものになるのかを目撃することを楽しみにしています。

その他のリソース

Jupiter Rising: A Decade of Clos Topologies and Centralized Control in Google’s Datacenter Network、SIGCOMM（2015 年）[論文]
- 市販のスイッチシリコン、Clos トポロジ、ソフトウェア定義ネットワーキング（SDN）を活用した Jupiter データセンターネットワークの最初の取り組み。
- 2012 年に初めて本番環境に導入。
Mission Apollo: Landing Optical Circuit Switching at Datacenter Scale、arxiv.org（2022 年）[論文]
- 2013 年に初めて本番環境に導入。
Orion: Google's Software-Defined Networking Control Plane、NSDI（2021 年）[論文]
- データセンターと広域ネットワークの両方で使用される Google の高パフォーマンスでスケーラブルな、インテントベースの分散型 SDN プラットフォーム。
- 2016 年に初めて本番環境に導入。
Jupiter Evolving: Transforming Google's Datacenter Network via Optical Circuit Switches and Software-Defined Networking、SIGCOMM（2022 年）[論文]
- 先行の技術: OCS（2013 年）、Orion SDN（2016 年）、200 Gbps ネットワーキング（2020 年）、ダイレクトコネクトトポロジ（2017 年）、動的トラフィックエンジニアリング（2018 年）、動的トポロジエンジニアリング（2021 年）。
Swift: Delay is Simple and Effective for Congestion Control in the Datacenter、SIGCOMM（2020 年）[論文]
- Swift は、ハードウェアタイムスタンプと遅延目標を備えた AIMD 制御を使用する輻輳制御プロトコル。短い RPC では低フロー完了時間、長い RPC では高スループットという優れたパフォーマンスを Google のデータセンターで実現。
- 2017 年に初めて本番環境に導入。
PLB: Congestion Signals are Simple and Effective for Network Load Balancing、SIGCOMM（2022 年）[論文]
- Protective Load Balancing（PLB）は、シンプルかつ効果的なホストベースのロードバランシング設計により、ネットワークの輻輳を軽減する。パケットの並べ替えを最小限に抑えるためにアイドル期間後のパス変更を優先することで、輻輳した接続のパスをランダムに変更し、パフォーマンスを向上させる。
- 2020 年に初めて本番環境に導入。

^{1. データセンターネットワーク内の統計的に有意な数のネットワークフローが、定義されたしきい値を超えて完全または部分的に停止する時間。}

-Google Cloud、ML・システム・クラウド AI 担当ゼネラルマネージャー兼バイスプレジデント Amin Vahdat

インテリジェントクラウドに持続可能なシリコンを: コンピューティングの未来に向けたコラボレーション

Mon, 28 Oct 2024 02:00:00 +0000

※この投稿は米国時間 2024 年 10 月 16 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: 今回は、Google バイスプレジデント兼テクニカルフェローの Parthasarathy Ranganathan と、プリンシパルエンジニアの Amber Huffman から話を聞きます。Partha は本日、オープンハードウェア業界のリーダー、研究者、先駆者のための年次会議である 2024 OCP Global Summit で基調講演を行いました。Amber は、Open Compute Project（OCP）の理事を務めています。ハイパースケールコンピューティングの過去と未来、および OCP コミュニティにおけるすべての活動の概要を以下にご紹介します。

ハイパースケールコンピューティングという刺激的な時代において、AI / ML コンピューティングの基盤をクラウドで構築する新たなイノベーションの波が起こっています。ハイパースケールコンピューティングの分野で 25 年にわたる豊かな歴史を築いてきた Google は、ハードウェアとソフトウェアのスタック、分野、コミュニティを横断する共同設計とコラボレーションが、この刺激的な新しい未来の鍵となることを見据えています。

小さな始まりから社会インフラへ

Google が創設された 1998 年の時点で、ウェブ検索の成功には膨大な計算能力とストレージが必要であることは明らかでした。そこで、検索に特化した最初のハイパースケールコンピュータが設計されたのです。その場しのぎの初期のシステムは、「Corkboard」サーバーや Walmart で購入した既成のファンなど、独創的なコスト削減アプローチを採用しており、ハードウェアおよびソフトウェアの共同設計と、ワークロード固有の専門化という、今日でも採用されている原則の基礎を築きました。

Google は、これらの初期システムを基盤として、その後の 10 年間で最新のハイパースケールコンピューティングの基礎を築き、カスタムサーバー、カスタムネットワーキング、カスタムデータセンターの先駆者として、検索から Gmail、YouTube、Android へとサービスを拡張しました。そして、これらすべてが最新のマルチワークロードクラウドにつながっています。その間には、Borg、Colossus、MapReduce、Bigtable などの重要なシステムソフトウェアも開発しました。その後数年間は、セキュリティ、信頼性、電力効率を優先しながら、これらのシステムのスケーリングを重点的に進めました。2011 年の Open Compute Project（OCP）の設立とともに、ハイパースケールコンピューティングの位置付けはニッチな分野からより主流の分野へと変化しました。ここ 10 年のハイパースケールコンピューティングの特徴として挙げられるのが、ムーアの法則の減速に逆らうイノベーション、すなわち ML や動画処理をサポートする専用ハードウェアと、異種性を管理するためのソフトウェア定義サーバーです。

現在、ハイパースケールコンピューティングは確固たる地位を確立し、クラウドと AI のワークロードを推進する重要な社会インフラへと進化しています。

分野をまたいだ共同設計: イノベーションの中心

過去 25 年間の Google によるすべてのイノベーションで一貫していた 1 つのテーマが、分野を横断するシステムイノベーションと共同設計への確固たるコミットメントです。AI 時代を見据える Google は、引き続き「基盤からクラウドまで」（データセンターを構築する土台からより広範なクラウドコンピューティングサービスまで）および「チップから出荷まで」（ハードウェアの設計からデプロイと本番環境での使用まで）の総合的なアプローチを採用していきます。この哲学により、効率性が驚異的に向上し、複数世代のシステムにわたる桁違いの改善が実現しました。

Tensor Processing Unit（TPU）を例に考えてみましょう。目的に特化したこれらの AI アクセラレータ（最新の Trillium TPU を含む）は、複数世代にわたって、Gemini などの大規模言語モデルや、ノーベル賞を受賞した AlphaFold などの科学的なブレークスルーを含む ML の大きな進歩を推進してきました。しかし、Google は、チップの設計だけにとどまらず、チップを取り巻くシステム全体を考えるようになりました。そして、液体冷却、最先端の光学技術とトポロジ認識機能を備えた高度なネットワーキングシステム、持続可能な電力へのコミットメントなどのイノベーションと TPU を組み合わせ、非常に高度な AI プラットフォームを構築しました。さらに、このハードウェア基盤上に JAX、TensorFlow、OpenXLA、Kubernetes などのオープンソフトウェアフレームワークを積み重ねて、いわゆる AI ハイパーコンピュータを構築しました。このハイパーコンピュータは、Model Garden やアプリケーションと統合することでさらに強化され、AI ワークロードに最適化された垂直統合エコシステムが構築されます。

業界の枠を超えたコラボレーション: アイデアを成果に

総合的な共同設計には、業界の枠を超えたコラボレーション（規格とエコシステムの構築）というメリットもあります。Google と OCP のパートナーシップは、これを示す重要な事例です。2016 年に OCP に正式に参加して以来、Google は貢献の規模を毎年拡大し続けており、今後は以下の 4 つの主要分野における進歩と機会に焦点を当てたいと考えています。

サステナビリティ昨年、Google は他のハイパースケーラーとともに、より環境に優しいコンクリートを目指す野心的なロードマップを作成し、二酸化炭素排出量の削減を目指す業界を挙げた取り組みを主導しました。それ以来、新しい指標やベンチマークが共同で策定され、コンクリートの使用を最小限に抑える効率的なデータセンター設計の特定や、AI を使用した新材料の研究など、大きな成果が達成されてきました。最近のイベントでは、二酸化炭素排出量を 20～40% 削減できるコンクリート混合物の概念実証を行いました。

事業とバリューチェーン全体における 2030 年までの排出量実質ゼロの達成に向けた取り組みを進める中で、Google にできることはまだまだたくさんあります。今年の OCP では、ライフサイクルを通じたハードウェア関連の排出量の正確な測定、より質の高い炭素データの提供、データセンター用のクリーンで信頼性の高い電源バックアップの開発を目的とする製品カテゴリ規則（PCR）の策定方法について協議が進んでいます。また、エネルギー消費、温室効果ガス排出量、水の使用量に関するあらゆる要素を総合的に調査し続けています。

信頼できるシリコン信頼できるシリコンは、ハイパースケーラーシステムの基本要素です。過去 3 年間、Google はルートオブトラスト管理の再利用可能な IP ブロックである Caliptra を共同開発し、エコシステム全体の企業によって統合が進められている Caliptra 1.0 のオープンソース実装を提供してきました。Google が将来開発する TPU や ARM SoC にも、Caliptra が含まれる予定です。OCP L.O.C.K. プロジェクトは、Caliptra を活用してストレージデバイス用の階層化されたオープンソースの暗号鍵管理を提供し、信頼性とサステナビリティを向上させます。

シリコンの信頼性の分野では、シリコン障害やサイレントデータエラーに対処するためのシステムアプローチに関する産学連携が継続しています。これには、斬新な研究に対する 6 つの主要な学術機関への資金提供も含まれています。Server Component Resilience（SDC）Specification では、標準化された情報交換とテスト指標、そしてエラーを検出および軽減するためのオープンフレームワークがもたらす将来の機会について話し合われています。

AI アクセラレータAI は、プラットフォームの根本的な変化を伴うため、ハードウェアとソフトウェア全体で革新を進める必要があります。Google は、特に低精度のデータ形式（OCP FP8 や MX など）、ソフトウェアフレームワーク（OpenXLA、JAX、TensorFlow など）、ネットワーキング（Falcon、Ultra Ethernet、Ultra Accelerator Link）などの領域において、AI アクセラレータを標準化する取り組みを積極的に推進してきました。また、ハイパースケーラーや GPU サプライヤーと連携して、ファームウェアの更新、管理インターフェース、RAS（信頼性、可用性、保守性）に関する共通仕様を調整しました。

AI によってコンピューティングに対する需要が飛躍的に増大し続ける中で、Google にできることはまだまだあります。OCP AI Strategic Initiative の一環として、Google は 1 GW を超える液体冷却インフラストラクチャの導入から得た知見を共有し、業界の能力向上を支援しています。また、チップからラック、データセンターに至るまで、新しい電力供給ソリューションを見出しています。Google は 48V ラックで業界をリードしてきましたが、今年の OCP Summit では、データセンターの密度と効率を大幅に高めることができる 400V の DC 配電ソリューションとラックソリューションを提案します。

システム インフラストラクチャ最後に、Google は基盤となるシステムインフラストラクチャでも大きな進歩を続けています。Google のこの 1 年間の貢献には、データセンター（セキュリティ強化、オープンテストリポジトリなど）、サーバー（OpenTitan プラットフォームのルートオブトラストなど）、ネットワーキング（Falcon、テレメトリとシミュレーションにおける SONiC の進歩、高度な PCIe エンクロージャー互換フォームファクタ）に関する NVM Express への貢献と、オープンソースのランダムの衝撃および振動テストなどの新しい取り組みが含まれます。また、Google は技術的な貢献にとどまらず、OCP Advisory Board を結成して共同議長を務め、OCP AI Strategic Initiative の設立を主導してきました。

Google は今後も、特に AI インフラストラクチャに求められる一段階上のスケールに対応するために、この分野で革新を続けていきます。今年の OCP Summit では、データセンターへのロボット工学と自動化の導入について話し合いますのでご注目ください。ロボット工学は、幅広い活動（材料の移動、モニタリングと検査、保守と修理、メディア管理）にわたるデータセンターの運用を安全かつ持続的に拡張することを可能にし、これらの設備の構造を根本的に変えます。

新たなインテリジェンス革命に向けたイノベーション

過去 25 年間で、ハイパースケールコンピューティングは目覚ましい進歩を遂げましたが、この先にさらなる進化が待ち受けています。AI による新たなインテリジェンス革命が始まろうとしている今、私たちはコンピューティングのエキサイティングな転換点を迎えています。製造業の産業革命や、モバイルインターネットによる情報革命といった過去の変化と同様に、この革命はテクノロジーと社会に多大な影響を与えるはずですが、それを実現するには総合的なシステムイノベーションが鍵となります。皆様とともに、この取り組みを進めていけることが楽しみでなりません。

-バイスプレジデント兼テクニカルフェロー Parthasarathy Ranganathan
-Google、プリンシパルエンジニア Amber Huffman

システム研究を推進: 合成された Google ストレージの I/O トレースがコミュニティで利用可能に

Thu, 04 Jul 2024 03:10:00 +0000

※この投稿は米国時間 2024 年 6 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。

大規模分散ストレージシステムの設計は複雑に入り組んだ課題であり、ストレージのハードウェアとソフトウェアが実際の状況でどのようにやり取りするかについての詳細な分析情報を必要とします。この分野の研究者を支援すべく、Google は最近、ストレージサーバーとディスクの合成された Google I/O トレースのコレクションをリリースしました。今回のリリースは、ASPLOS 2024 で発表された論文「Thesios: Synthesizing Accurate Counterfactual I/O Traces from I/O Samples（Thesios: I/O サンプルからの正確な反事実的 I/O トレースの合成）」に付随するものです。

I/O トレースとは何か、なぜ重要なのか

I/O トレースとは、ストレージデバイスやストレージサーバーで発生する入出力オペレーションの記録であり、実際のストレージの動作とパフォーマンスを理解するうえで不可欠です。その中でも特に重要なのが、エクサスケールのデータセンター（Google など）の多様なパターンや需要をキャプチャする代表的な I/O トレースです。これらのトレースを研究することで、研究者は次のことが行えます。

ストレージシステムのパフォーマンスとボトルネックに関する詳細な分析情報を取得する
より正確なモデルを構築し、現実的なワークロードをシミュレートする
より効率的で信頼性の高いストレージシステムのためのピンポイントな最適化を開発する

しかし、高品質の I/O トレースを取得するのは簡単ではありません。なぜなら、多様なストレージシステムがあるだけでなく、オーバーヘッドを最小限に抑えながら詳細をキャプチャする必要があるからです。こうした問題に対処するために、Google は Thesios と呼ばれる新しい手法を開発しました。

Thesios の紹介: I/O トレースを合成するための手法

Google が開発した Thesios 手法は、正確かつ代表的な I/O トレースを作成するためものです。Thesios は、さまざまなストレージサーバーにまたがる複数のディスクからダウンサンプリングされた I/O トレース（Google のデータセンターで日常的に収集される）を組み合わせることでこれを実現します。

Thesios は、複数の独立したディスクからの I/O サンプルを組み合わせて、単一ディスクの高解像度の I/O トレースを合成します。

Thesios には、（1）I/O サンプルを収集するサンプリングサービス、（2）類似のディスクを識別するエンティティ識別子、（3）サンプルを組み合わせてサーバーレベルのトレースを生成するトレースシンセサイザー、（4）リクエストの順序とレイテンシを調整してディスクレベルのトレースを生成するトレース再オーガナイザーが必要です。

そこにはどのような課題があるでしょうか。ストレージシステムは内部的に異なっているため、モデル、サイズ、使用率、その他の要素にばらつきがあるディスクから収集されたサンプルを単純に組み合わせても、代表的なトレースは生成されません。Thesios はこのような相違をインテリジェントに考慮して、合成されたトレースが実際の状況を正確に反映するようにします。その結果は、収集した実際の集計統計と比較して、驚異的な精度を示しています。

95～99.5%: 読み取り / 書き込みリクエスト数の精度
90～97%: 使用率の精度
80～99.8%: 読み取りレイテンシの精度

合成されたトレースと実際の統計情報における、読み取りオペレーションの合計数と、レイテンシの影響を受けやすい（L）、スループット指向（TP）、その他（O）のリクエストの内訳。Thesios によって合成されたトレースは、曜日や時間帯の変動を正確に捉えています。

Thesios の独自の機能として挙げられるのが、データドリブンな「what-if」研究を実施するための、反事実的 I/O トレースの合成です。Google の論文では、4 つのケーススタディのサンプルを使って、Thesios がどのようにして多様な反事実的 I/O トレースの合成を可能にし、仮定のポリシー、ハードウェア、サーバーの変更を分析するかを実証しています。

容量、使用率、満杯状態が仮定されたディスクの I/O トレースを合成する
さまざまなワークロードフィルタ条件を使用してホットディスクやコールドディスクを実現するデータ分離をテストして、データ分離が電力消費に与える影響を分析する
1 分あたりの回転数（RPM）が低いディスクを導入した場合のエネルギー消費とレイテンシへの影響を評価する
サーバーのバッファキャッシュサイズの増加がキャッシュヒットに及ぼす影響を見積もる

これらのトレースをオープンソース化する理由

Google の 3 つの異なるストレージクラスタから、2 か月間の合成された代表的なトレースを公開しました。これには、約 25 億件の I/O レコードが含まれます。また、これらのトレースには、ユーザー向けアプリケーションと社内アプリケーションの両方からの I/O オペレーションが含まれています。Google の目標は、Google の大規模なデータセンターで直面した現実的なワークロードを共有して、ストレージシステムの研究を後押しすることです。これらのトレースが次のことを実現できることを願っています。

ストレージ技術における新しい最適化とイノベーションを呼び起こす
大規模ストレージシステムのより正確なシミュレーションとモデリングを可能にする
産業界が学術界と本番環境のトレースを安全に共有する方法のモデルとなり、連携と進化を促進する

Google は、システム研究者に Google I/O トレースを探索することをおすすめしています。これらのトレースは、大規模ストレージの複雑な世界を深く掘り下げるとともに、有意義な発展を牽引するまたとない機会を提供すると確信しています。トレースをダウンロードして、今すぐ研究を始めましょう。

ここでご紹介した手法と技術的な詳細については、ASPLOS に掲載されている論文「Thesios: Synthesizing Accurate Counterfactual I/O Traces from I/O Samples（Thesios: I/O サンプルからの正確な反事実的 I/O トレースの合成）」をぜひご覧ください。

この投稿で取り上げた研究は、同僚の Soroush Ghodrati、Selene Moon、Martin Maas との共同研究です。また、トレースのリリースに関するサポートとフィードバックを提供してくれた Larry Greenfield、Mustafa Uysal、Arif Merchant、Seth Pollen、Partha Ranganathan にも深く感謝します。

-Google DeepMind、スタッフリサーチサイエンティスト Phitchaya Mangpo Phothilimthana
-Google、シニアリサーチサイエンティスト Saurabh Kadekodi

第 6 世代の Google Cloud TPU「Trillium」の発表

Fri, 17 May 2024 02:00:00 +0000

※この投稿は米国時間 2024 年 5 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。

生成 AI は人々がテクノロジーと関わる方法を変えると同時に、ビジネスに影響を与えるとてつもない効率化の機会をもたらします。しかしこのような進歩に伴い、非常に高性能なモデルのトレーニングとファインチューニングを行い、世界中のユーザーにインタラクティブにサービングを提供するために、コンピューティング、メモリ、通信がこれまで以上に必要となります。Google はこれまで 10 年以上にわたり、AI に特化したカスタムのハードウェアである Tensor Processing Unit（TPU）を開発し、スケーラビリティと効率性の新境地を開拓してきました。

このハードウェアが、Gemini 1.5 Flash、Imagen 3、Gemma 2 などの新しいモデルを含め、今回の Google I/O で発表した多くのイノベーションの支えとなりました。これらのモデルはすべて TPU でトレーニングされており、TPU を使用して提供されます。モデルの新たな可能性を引き出し、お客様にも同様に取り組んでいただけるよう、このたび、これまでで最も高性能かつエネルギー効率に優れた第 6 世代の TPU「Trillium」を発表しました。

Trillium TPU は、TPU v5e と比較してチップあたりのピークコンピューティングパフォーマンスが 4.7 倍と、驚異的な性能向上を達成しています。高帯域幅メモリ（HBM）の容量と帯域幅が 2 倍になり、チップ間相互接続（ICI）の帯域幅も TPU v5e の 2 倍になりました。さらに、Trillium には第 3 世代の SparseCore が搭載されています。これは、高度なランキングやレコメンデーションのワークロードでよくある極めて大規模なエンベディングを処理するための、特別なアクセラレータです。Trillium TPU により、新世代の基盤モデルを素早くトレーニングし、レイテンシと費用を低く抑えてモデルをサービングすることが可能となります。重要なのは第 6 世代の TPU が非常にサステナブルだということであり、Trillium TPU のエネルギー効率は TPU v5e より 67% 以上向上しています。

Trillium は、高帯域幅かつ低レイテンシの単一の Pod 内で 256 TPU までスケールアップできます。Trillium TPU はマルチスライステクノロジーと Titanium Intelligence Processing Unit（IPU）により、この Pod レベルのスケーラビリティを超えて数百 Pod にスケーリングできます。その際、マルチペタビット/秒のデータセンターネットワークで相互接続された、建物規模のスーパーコンピュータの数万に及ぶチップを接続します。

Trillium で AI のイノベーションが次のフェーズへ

10 年以上前、Google はそれまでになかった ML 用チップの必要性を認識しました。2013 年に世界初の専用 AI アクセラレータ TPU v1 の開発に着手し、2017 年には最初の Cloud TPU を発表しました。Gemini、Imagen、Gemma などの最先端の基盤モデルや、リアルタイムの音声検索、写真の物体認識、インタラクティブな言語翻訳といった広く利用されている Google サービスの多くは、TPU がなければ実現していなかったでしょう。実際、Google Research の Transformer（最新の生成 AI の基礎となるアルゴリズム）に関する基礎的な取り組みが可能となったのは、TPU のスケーラビリティと効率性のおかげです。

Trillium でチップあたりのコンピューティングパフォーマンスが 4.7 倍に向上

TPU はニューラルネットワークのために一から設計されました。Google は常に、AI ワークロードのトレーニングとサービングにかかる時間の短縮に取り組んでいます。Trillium では、チップあたりのピークコンピューティングパフォーマンスが TPU v5e の 4.7 倍になりました。このレベルのパフォーマンスを達成するために、Google は行列乗算ユニット（MXU）のサイズを拡大し、クロック速度を向上させました。さらに SparseCore は、TensorCore からのランダムな細かいアクセスを戦略的にオフロードすることで、エンベディングの多いワークロードを加速します。

ICI や高帯域幅メモリ（HBM）の容量と帯域幅が 2 倍に

HBM の容量と帯域幅が倍増したことで、Trillium はより大きな重み付けと Key-Value キャッシュのさらに大規模なモデルを処理できるようになりました。次世代の HBM ではメモリ帯域幅が高くなり、電力効率が向上するほか、柔軟なチャネルアーキテクチャでメモリスループットが向上します。そのため、大規模モデルのトレーニング時間とサービングレイテンシが改善します。モデルの重み付けと Key-Value キャッシュが 2 倍になったことで、ML ワークロードを加速するために、より多くのコンピューティング容量でより速くアクセスできるようになりました。ICI 帯域幅が倍増したため、1 つの Pod に 256 個のチップがあるカスタムの光 ICI 相互接続と、スケーラビリティをクラスタ内の数百 Pod まで拡張する Google Jupiter ネットワーキングを戦略的に組み合わせることで、トレーニングと推論のジョブを数万チップまでスケーリングできます。

Trillium が次世代の AI モデルの原動力に

Trillium TPU は次世代の AI モデルやエージェントの原動力となります。Google は、このような高度な機能でお客様のお役に立ちたいと考えています。たとえば自律走行車メーカーの Nuro は、Cloud TPU を使用してモデルをトレーニングすることで、ロボット工学を通じた日常生活の改善に取り組んでいます。AI で創薬の未来を切り拓いている Deep Genomics は、Trillium による新しい基盤モデルが患者の生活をどのように変えるかに期待を寄せています。AI の Google Cloud パートナーオブザイヤーの Deloitte は、生成 AI でビジネスを変革するために Trillium を提供する予定です。また、Trillium TPU でコンテキストの長いマルチモーダルモデルのトレーニングとサービングがサポートされるため、Google DeepMind では、将来の世代の Gemini モデルのトレーニングとサービングをこれまでより速く効率的に低レイテンシで行えるようになります。

「Gemini 1.5 Pro は何万もの TPU アクセラレータを使用してトレーニングされた、Google の最大かつ最高性能の AI モデルです。私たちのチームは第 6 世代の TPU が発表されたことに沸き立っており、Gemini モデルのスケールでトレーニングおよび推論のパフォーマンスと効率が向上することを楽しみにしています。」- Google DeepMind および Google Research、チーフサイエンティスト、Jeff Dean

「Google Cloud TPU アクセラレータは Nuro に大きな変革をもたらしました。Cloud TPU v5e を活用することで、他と比べてトレーニングワークロードの費用対効果が 180% 向上したのです。当社は TPU を活用して AI ファーストの自律性で路上の安全性を高めるために、行動と認識のモデルを進化させました。今後は次世代の Trillium TPU を活用してさらに発展させていこうと考えています。AI インフラストラクチャテクノロジーの最前線に立っている Google Cloud と、次世代 AI モデルで連携できることを誇りに思っています。」- Nuro、CTO、Andrew Clare 氏

「Deep Genomics では、AI と生物学の科学者からなる学際的なチームがゲノム研究開発の新たな道を切り拓いています。私たちの使命は、高度な AI モデルを作成して適用し、RNA 治療薬の分野における可能性の限界を押し広げることです。第 6 世代の Trillium TPU が発表されたことを嬉しく思うと同時に、Google Cloud と協力して AI 基盤モデルのトレーニングと推論を 100 倍以上に拡大する機会が得られたことに喜んでいます。これによって、患者さんの生活を変える当社の力が強化されるでしょう。」- Deep Genomics、設立者 / CIO、Brendan Frey 氏

「Deloitte は、クライアントがテクノロジーを活用できるように支援することを主な使命としています。Google Cloud の次世代 TPU の Trillium を導入すれば、パフォーマンスと費用を最適化して真のビジネス価値を実現できるため、大きな飛躍となります。Google とともに、当社はこれからも業界や分野を問わずクライアントと協力し、生成 AI を活用して可能性を引き出していきます。」- Deloitte UK、Alphabet Google アライアンス最高商務責任者、Matt Lacey 氏

Jeff Dean
Blog-post-5
Andrew Clare
Brendan Frey
Matt Lacey

Trillium と AI ハイパーコンピュータ

Trillium TPU は、Google Cloud の AI ハイパーコンピュータ（最先端の AI ワークロード専用に設計された画期的なスーパーコンピューティングアーキテクチャ）の一部です。このハイパーコンピュータには、パフォーマンスが最適化されたインフラストラクチャ（Trillium TPU など）、オープンソースソフトウェアフレームワーク、柔軟な消費モデルが統合されています。Google は、JAX、PyTorch/XLA、Keras 3 などのオープンソースライブラリへの取り組みでデベロッパーを支援します。JAX と XLA をサポートするということは、前の世代の TPU 向けに書かれた宣言型モデルの説明が、Trillium TPU の新しいハードウェアとネットワークの機能に直接対応するということです。また Google は Optimum-TPU に関して Hugging Face と提携し、モデルのトレーニングとサービングを効率化しています。

「Google Cloud とのパートナーシップにより、Hugging Face のユーザーは、TPU などの Google Cloud AI インフラストラクチャでオープンモデルを簡単にファインチューニングして実行できるようになりました。今後の第 6 世代の Trillium TPU でオープンソース AI をさらに加速できることを嬉しく思います。前の世代と比較してチップあたりのパフォーマンスが 4.7 倍向上しているため、オープンモデルが最適なパフォーマンスを継続的に提供できると期待しています。当社は新しい Optimum-TPU ライブラリを通じて、すべての AI ビルダーが Trillium のパフォーマンスを簡単に利用できるようにします。」- Hugging Face、プロダクト責任者、Jeff Boudier 氏

SADA は 2017 年以来、パートナーオブザイヤーに毎年選ばれており、最大限の効果をもたらす Google Cloud サービスを提供しています。

「誇りある Google Cloud プレミアパートナーとして、SADA は世界が認める AI のパイオニアである Google と 20 年の歴史を築いてきました。当社は数千もの多様なお客様のために、AI を急速に統合しています。当社の豊富な経験と AI ハイパーコンピュータアーキテクチャにより、Trillium で生成 AI モデルの新境地を切り拓くお客様のお手伝いができることを楽しみにしています。」- SADA、CTO、Miles Ward 氏

AI ハイパーコンピュータには、AI / ML ワークロードに必要となる柔軟な消費モデルも用意されています。また、Dynamic Workload Scheduler（DWS）を使用すると、AI / ML リソースへのアクセスが容易になるうえ、費用も最適化できます。Flex Start モードは、エントリポイント（Vertex AI Training、Google Kubernetes Engine（GKE）、Google Cloud Engine）に関係なく、同時に必要となるすべてのアクセラレータをスケジューリングすることで、トレーニング、ファインチューニング、バッチジョブなどの急増するワークロードのエクスペリエンスを向上させることができます。

Lightricks は、AI ハイパーコンピュータによる効率の向上に加えて、パフォーマンスの向上を通じて価値を取り戻すことに期待を寄せています。

「Cloud TPU v4 以来、TPU を Text-to-Image モデルと Text-to-Video モデルに使用してきました。TPU v5p と AI ハイパーコンピュータの効率化により、トレーニング速度が 2.5 倍も向上しました。第 6 世代の Trillium TPU は、前の世代に比べてチップあたりのコンピューティングパフォーマンスが 4.7 倍、HBM の容量と帯域幅が 2 倍に向上しています。Text-to-Video モデルを拡大しようしていた私たちにとって、ちょうどよいタイミングでした。Dynamic Workload Scheduler の Flex Start モードを使用して、バッチ推論ジョブや将来の TPU 予約を管理することも計画しています。」- Lightricks、コア生成 AI リサーチチームリーダー、Yoav HaCohen 博士

Google Cloud Trillium TPU の詳細

Google Cloud TPU は、大規模 AI モデルを強化するためにカスタム設計されて最適化された AI アクセラレーションの最先端です。Google Cloud でのみ利用できる TPU として、AI ソリューションのトレーニングとサービングにおいて比類ないパフォーマンスと費用対効果を実現します。大規模言語モデルの複雑さであれ、画像生成の創造的な可能性であれ、デベロッパーや研究者は TPU で AI 分野における可能性の限界を押し広げることができます。

第 6 世代の Trillium TPU は 10 年以上にわたる研究とイノベーションの集大成であり、今年中に提供が開始される予定です。Trillium TPU と AI ハイパーコンピュータについて詳しい説明をご希望の場合は、こちらのフォームにご記入ください。セールスチームからご連絡いたします。

- ML、システム、クラウド AI 担当バイスプレジデント兼ゼネラルマネージャー、Amin Vahdat

Caliptra: チップ一つひとつに信頼を組み込む

Wed, 08 May 2024 01:20:00 +0000

※この投稿は米国時間 2024 年 4 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。

Google は、数十億人のユーザーをサポートするサービスを支援するために、サステナブルで安全かつスケーラブルなハードウェアとソフトウェアを構築しています。また、これらのエクスペリエンスの実現に向けて、オープンなイノベーションを中心的な方針に据えています。私たちの社会が迎えようとしている AI 中心の未来では、CPU、GPU、TPU、NIC、SSD などのさまざまな種類のシステムオンチップ（SoC）が互いに連携しながら活躍するでしょう。安全なソリューションを広範囲で利用できるようにするには、これらのチップすべてで実行されるファームウェアに信頼性と透明性が必要です。

Caliptra 1.0 について

Google は AMD、Microsoft、NVIDIA と連携して Caliptra を開発しました。Caliptra は、チップのセキュリティの基準を高めるための Open Compute Project（OCP）による標準です。Caliptra は検証可能な暗号保証を提供するハードウェアのルートオブトラスト（RoT）であり、認証を受けた信頼できるファームウェアのみが本番環境ワークロードを実行できるようにします。

初期の Caliptra はコンフィデンシャルコンピューティングで使用されるハードウェア実装を対象としていますが、将来的にはすべてのチップに対象領域を広げる予定です。ますます巧妙化するサイバー攻撃に対処するために、チームは書面の仕様だけでなく、CHIPS Alliance でオープンソースの実装を提供しています。その結果として、CPU、GPU、SSD などの未来のチップへのインテグレーションを目的とした、シリコンレベルの知的財産（IP）ブロックが誕生しました。Caliptra のソースコードは、このブロックの ROM とファームウェアにも対応しています。

このたび、Caliptra の仕様とオープンソースのハードウェアおよびソフトウェア実装が完成し、リビジョン 1.0 の節目を迎えました。Caliptra コミュニティは拡大を続け、現在では、9elements、AMI、Antmicro、ASPEED、Axiado、Lubis EDA、ScaleFlux、Marvell、Nuvoton も参加しています。各企業が連携することで、SoC の設計、自動化、ファームウェア、検証に関する専門知識が蓄積されています。

現在、このエコシステムに属する複数の企業が Caliptra IP ブロックをチップに統合する作業を進めており、市場では 2026 年から利用可能になる予定です。つまり、プロジェクトの開始から 2 年もかからずに、仕様とオープンソースのハードウェアおよびソフトウェア実装の完成にこぎつけることになります。

チームはすでに次のイテレーション、Caliptra 2.0 に取り組んでいます。このバージョンでは量子暗号に対応し、モジュール格子ベースのデジタル署名とステートフルなハッシュベースの署名スキームに関する NIST の勧告を取り入れる予定です。Caliptra 1.0 の仕様をダウンロードし、caliptra.io でオープンソースのリポジトリにアクセスしてみてください。

OCP S.A.F.E.

Google、Microsoft、OCP は、セキュリティ評価の基準を高めるための補足的なプログラム、OCP Security Appraisal Framework for Enablement（OCP S.A.F.E.）にも共同で取り組んでいます。このプログラムは、SSD などのデバイスの利用者にセキュリティに関する適合保証を与えるためのものです。このプログラムが認証するリストに記載された認定 OCP セキュリティレビュープロバイダ（SRP）は、デバイスのベンダーの知的財産を保護しながら、デバイスのファームウェアリリースとパッチの来歴、コードの品質、ソフトウェアサプライチェーンを確認するためのセキュリティに関する適合審査を実施します。OCP の S.A.F.E. プログラムについて詳しくはこちらをご覧ください。

今後の展望

Caliptra はすでに、複雑な問題のセキュリティに対処する高品質な仕様および実装としての位置づけを確立しています。私たちは、この取り組みを OCP Layered Open-source Cryptographic Key-management（OCP L.O.C.K.）という新たなイニシアチブでフォローアップしていきます。Google、Microsoft、Samsung、Solidigm、KIOXIA の連携により誕生した OCP L.O.C.K. は、NVM Express（NVMe）キー管理ブロックの標準を定義し、実装するものです。これにより、たとえデータセンターから物理ドライブが盗まれたとしても、顧客データを保護できるようになります。

このように業界の主力企業が団結し、オープンソースをメカニズムに採用して社会のインフラストラクチャの信頼性と安全性を高めるテクノロジーを提供することで、ハードウェア、ファームウェア、ソフトウェアの標準が掲げる目標の達成を透明性の高い監査可能な方法で支援できることは、業界にとって大きな励みとなります。Caliptra、OCP S.A.F.E.、OCP L.O.C.K. について詳しくは、ポルトガルのリスボンで今週開催されている OCP Regional Summit の情報を参照してください。今後もこれらのテクノロジーについて互いに議論を重ね、未来に投資していきましょう。

ー Google、上級エンジニア Andrés Lagar-Cavilla

ー Google、プリンシパル エンジニア Amber Huffman

Google Cloud の AI ハイパーコンピューターアーキテクチャの新機能

Wed, 10 Apr 2024 03:00:00 +0000

※この投稿は、2024 年 4 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。

AI の進歩が、これまで不可能と考えられていたユースケースを可能にしています。より大規模で複雑な AI モデルは、テキスト、コード、画像、動画、音声、音楽を含むあらゆるアプリケーションで強力な機能を実現しています。その結果、人間の潜在能力と生産性を高める可能性を秘めた AI の活用は世界中の企業や組織にとって不可欠なイノベーションとなっています。

しかし、これらの優れたユースケースを支える AI ワークロードは、基盤となるコンピューティング、ネットワーク、ストレージのインフラストラクチャに信じられないほどの要求を課します。これはアーキテクチャの 1 つの側面にすぎず、お客様は、オープンソースのソフトウェア、フレームワーク、データプラットフォームを統合しながら、リソース消費を最適化して AI の力をコスト効率よく活用するという課題にも直面しています。従来は、コンポーネントレベルの機能拡張を手動で組み合わせる必要があり、非効率さやボトルネックが発生する可能性がありました。

そのため、本日、AI ハイパーコンピューターアーキテクチャのあらゆるレイヤーにおける大幅な機能強化を発表します。このシステムレベルのアプローチにより、パフォーマンスが最適化されたハードウェア、オープンソフトウェアとフレームワーク、柔軟な消費モデルを組み合わせて、システム全体がより高いパフォーマンスと効率で実行され、生成されたモデルがより効率的に提供されるため、開発者と企業の生産性が向上します。

実際、2024 年 3 月に Google は Forrester Research の「The Forrester Wave: AI Infrastructure Solutions, Q1 2024」1においてリーダーの 1 社に選出されました。同レポートの「現在のサービス」と「戦略」のどちらのカテゴリにおいても、評価対象となった全ベンダーの中で最高スコアを獲得しました。

本日の発表は、AI ハイパーコンピューターアーキテクチャのあらゆるレイヤーに及びます。

パフォーマンスが最適化されたハードウェアの機能強化：Cloud TPU v5p の一般提供や、強化されたネットワーキング機能とより高いパフォーマンスを備えた大規模トレーニング向け NVIDIA H100 Tensor Core GPU を搭載した A3 Mega VM が含まれます。
AI ワークロード向けのストレージポートフォリオの最適化：AI 推論 / サービングワークロード向けに最適化された新しいブロックストレージサービスである Hyperdisk ML 、トレーニングと推論のスループットとレイテンシを改善する Cloud Storage FUSE、Parallelstore の新しいキャッシュ機能が含まれます。
オープンソフトウェアの進歩：Gemma 7B などのオープンモデルで 1 米ドル当たりのパフォーマンスを向上させる大規模言語モデル (LLM) 向けのスループットとメモリ最適化の推論エンジンであるJetStream の導入が含まれます。また、JAX および PyTorch/XLA リリースにより、Cloud TPU と NVIDIA GPU の両方でパフォーマンスを向上させます。
Dynamic Workload Scheduler による新しい柔軟な GPU リソースの活用： 開始時刻を保証するカレンダーモードや経済性を最適化するフレックススタートモードが含まれます。

AI ハイパーコンピューターの詳細については、Google Cloud のデータセンターのビデオをご覧ください。

パフォーマンスが最適化されたハードウェアの進歩

Cloud TPU v5p GA

これまでで最も強力でスケーラブルな TPU である Cloud TPU v5p の一般提供を発表しました。TPU v5p は、最大規模で最も要求の厳しい生成 AI モデルのトレーニングに特化して構築された次世代アクセラレータです。1 つの TPU v5p ポッドでは、TPU v4 ポッドのチップの 2 倍以上の 8,960 個のチップが同時に実行されます。TPU v5p は、大きなスケールであるだけでなく、チップごとに 2 倍以上の FLOPS と 3 倍以上の高帯域幅メモリも提供します。また、お客様がより大きなスライスを使用することでスループットがほぼ直線的に向上します。スライスサイズが 12 倍（512 チップから 6144 チップへ）増加した場合、11.97 倍のスループットを達成します。

TPU v5p における包括的な GKE サポート

大規模な TPU クラスタ全体で、GKE 最大の AI モデルのトレーニングとサービングを可能にするために、本日、Google Kubernetes Engine (GKE) の Cloud TPU v5p サポートと GKE での TPU マルチホストサービスの一般提供も開始したことを発表しました。GKE で TPU マルチホストを使用すると、複数のホストにデプロイされたモデルサーバーのグループを 1 つの論理ユニットとして管理でき、一元的な管理およびモニタリングが可能になります。

「Lightricks は Google Kubernetes Engine (GKE) で Google Cloud の TPU v5p を活用し、テキストから画像およびテキストから動画へのモデルのトレーニングにおいて、TPU v4 と比較して 2.5 倍の高速化を達成しました。GKE により、パフォーマンスの向上が必要な特定のトレーニングジョブに TPU v5p をスムーズに活用できるようになります。」- Lightricks、コア生成 AI 研究チームリード、PhD Yoav HaCohen 氏

A3 Mega の一般提供と Confidential Computing で NVIDIA H100 GPU 機能を拡張

A3 VM ファミリーに A3 Mega が加わり、NVIDIA GPU 機能も拡張されます。NVIDIA H100 Tensor Core GPU を搭載した A3 Mega は 2024 年 5 月に一般提供予定で、従来の A3 VM の 2 倍の GPU 間ネットワーキング帯域幅を実現します。Confidential Computing は、2024 年後半にプレビュー版を A3 VM ファミリーに導入予定です。A3 VM ファミリーで Confidential Computing を有効にすることで、機密データと AI ワークロードの機密性と整合性を保護し、不正アクセスを軽減します。また、A3 VM ファミリーで Confidential Computing を有効にすると、コードを変更する必要なく保護された PCIe を介して Intel TDX 対応 CPU と NVIDIA H100 GPU 間のデータ転送が暗号化されます。

NVIDIA Blackwell GPU を Google Cloud に導入

先日、NVIDIA の最新 Blackwell プラットフォームを 2 つの構成で AI ハイパーコンピューターアーキテクチャに導入することを発表しました。Google Cloud のお客様は、NVIDIA HGX B200 GPU と GB200 NVL72 GPU の両方を搭載した VM にアクセスできるようになります。HGX B200 GPUを搭載した新しい VMは、最も要求の厳しい AI、データ分析、HPC ワークロード向けに設計されており、水冷 GB200 NVL72 GPU を搭載した VM は、リアルタイムの LLM 推論と 1 兆個のパラメータスケールモデルに対する大規模なトレーニングパフォーマンスでコンピューティングの新時代をサポートします。

Google Cloud TPU と GPU ベースのサービスを活用しているお客様

Character.AI は、さまざまなキャラクターを簡単に作成して操作できる、消費者向けの強力な AI コンピューティングプラットフォームです。急速に成長するコミュニティのニーズを満たすために、GPU および TPU ベースのインフラストラクチャ全体で Google Cloud の AI ハイパーコンピューターアーキテクチャを採用しています。

「Character.AI は、Google Cloud の Tensor Processor Unit (TPU) と、NVIDIA H100 Tensor Core GPU 上で実行される A3 VM を使用して、LLM のトレーニングと推論をより高速かつ効率的に行っています。当社のサービスを利用する数百万人のユーザーに新しい機能を提供すべくスケールする際、強力な AI ファーストインフラストラクチャ上で実行される GPU と TPU の選択肢により、Google Cloud が最適な選択肢となっています。現在、H100 GPU を搭載した Google Cloud TPU v5e や A3 VM など、AI 環境全体において次世代アクセラレータのイノベーションが起きています。これらのプラットフォームはそれぞれ、前世代に比べて 2 倍以上のコスト効率の高いパフォーマンスを提供すると期待しています。」- Character AI、CEO Noam Shazeer 氏

AI/ML ワークロード向けに最適化されたストレージ

AI のトレーニング、ファインチューニング、推論のパフォーマンスを向上させるために、データをコンピュートインスタンスの近づけるキャッシュなど、ストレージ製品の多くの機能強化を追加し、トレーニングを大幅に高速化しました。また、これらの機能強化により、GPU と TPU の使用率も最大化され、エネルギー効率の向上とコストの最適化が実現します。

Cloud Storage FUSE （一般提供開始）は、Google Cloud Storage (GCS) 向けのファイルベースインターフェースです。高性能で低コストのクラウドストレージソリューションへのファイルアクセスを提供することで、複雑な AI/ML アプリで Cloud Storage の機能を活用できます。本日、新しいキャッシュ機能の一般提供を開始しました。 Cloud Storage FUSE キャッシュにより、トレーニングスループットは 2.9 倍、独自の基盤モデルの 1 つのサービングパフォーマンスは 2.2 倍向上します。

Parallelstore にもキャッシュ機能が追加されました (現在プレビュー中)。 Parallelstore は、AI/ML および HPC ワークロード向けに最適化された高性能並列ファイルシステムです。新しいキャッシュ機能により、ネイティブ ML フレームワークデータローダーと比較して、トレーニング時間が最大 3.9 倍短縮され、トレーニングスループットが最大 3.7 倍向上します。

Filestore (一般提供開始) は、低レイテンシのファイルベースのデータアクセスを必要とする AI/ML モデル向けに最適化されています。ネットワークファイルシステムベースのアプローチにより、クラスタ内のすべての GPU と TPU が同じデータに同時にアクセスできるため、トレーニング時間が最大 56% 短縮され、AI ワークロードのパフォーマンスを最適化、最も要求の厳しい AI プロジェクトも加速します。

また、AI 推論/サービングワークロード向けに最適化された次世代ブロックストレージサービスの Hyperdisk ML (現在プレビュー中) を発表しました。Hyperdisk ML は一般的なストレージサービスと比較して、モデルの読み込み時間を最大 12 倍高速化し、読み取り専用、マルチアタッチ、シンプロビジョニングを通じてコスト効率を実現します。最大 2,500 インスタンスが同じボリュームにアクセスでき、ボリュームあたり最大 1.2 TiB/ 秒の総スループットを達成、Microsoft Azure Ultra SSD や Amazon EBS io2 Block Express の 100 倍以上のパフォーマンスを実現します。

オープンソフトウェアの進歩

フレームワークから、ソフトウェアスタック全体にわたるオープンソースの機能強化により、パフォーマンスとコスト効率を向上しつつ、開発者のエクスペリエンスを簡素化し、お客様がAI ワークロードの価値実現までの時間を短縮できるようにします。

JAX および高パフォーマンスのリファレンス実装拡散モデル向けの新しい高性能でスケーラブルなリファレンス実装の MaxDiffusionを発表しました。また、Cloud TPU および NVIDIA GPU の両方で、Gemma、GPT3、LLAMA2、Mistral などの新しい LLM モデルを MaxText に導入します。お客様は、これらのオープンソース実装を使用して AI モデルを開発を始め、ニーズに基づいてさらにカスタマイズできます。

MaxText モデルと MaxDiffusion モデルは、高性能数値計算と大規模機械学習のための最先端のフレームワークである JAX 上に構築されています。JAX は OpenXLA コンパイラと統合されており、数値関数を最適化し、大規模なパフォーマンスを提供するため、モデルビルダーは開発に注力し、ソフトウェアに最も効果的な実装を行うことができます。Google Cloud は、Cloud TPU で JAX および OpenXLA のパフォーマンスを大幅に最適化したほか、NVIDIA との連携を通して大規模な Cloud GPU クラスターの OpenXLA パフォーマンスを最適化しました。

PyTorch サポートの進歩

PyTorch への取り組みの一環として、 2024 年 4 月後半のアップストリームリリースに続き、 PyTorch/XLA 2.3 のサポートを展開予定です。 PyTorch/XLA を使用すると、PyTorch 開発者は新しいフレームワークを学習せずに、TPU や GPU などの XLA デバイスから最高のパフォーマンスを得ることができます。また、今回のリリースにより、単一プログラム、複数データ (SPMD) の自動シャーディングや非同期分散チェックポイントなどの機能が導入され、分散トレーニングジョブの実行がより簡単かつスケーラブルになります。

さらに、Hugging Face コミュニティの PyTorch ユーザー向けに、開発者が TPU で Hugging Face モデルを簡単にトレーニングしてサービングできる、パフォーマンスが最適化されたパッケージ Optimum TPU をHugging Face と協力し、公開しました。新しい LLM 推論エンジン JetstreamTPU をはじめとする XLA 向けのオープンソースのスループットとメモリ最適化の LLM 推論エンジンである Jetstream を導入し、Gemma 7B およびその他のオープンモデルで 1 米ドルあたり最大 3 倍のパフォーマンスを提供します。お客様は AI ワークロードを本番環境に移行を進めており、高いパフォーマンスを提供するコスト効率も高い推論スタックに対する需要が高まっています。Jetstream は、JAX と PyTorch/XLA の両方でトレーニングされたモデルのサポートを提供し、Llama 2 や Gemma などの一般的なオープンモデルも最適化します。

NVIDIA との協力によるオープンコミュニティモデル

さらに、NVIDIA と Google のオープンコミュニティモデルに関するコラボレーションの一環として、Google モデルは NVIDIA NIM 推論マイクロサービスとして提供され、開発者が好みのツールやフレームワークを使用してトレーニングとデプロイを行うためのオープンで柔軟なプラットフォームを提供します。

新しい Dynamic Workload Scheduler モード

Dynamic Workload Scheduler は、AI ワークロード向けに設計されたリソース管理およびジョブスケジューリングサービスです。 Dynamic Workload Scheduler は、AI コンピューティング能力へのアクセスを改善し、必要なすべてのアクセラレータを同時に保証された期間にスケジュールすることで、AI ワークロードへのコストの最適化に貢献します。経済性を最適化し、取得性を向上させるフレックススタートモード (プレビュー中) とジョブの開始時間と期間を予測できるカレンダーモード (プレビュー中) の 2 つのモードを提供します。

フレックススタートジョブは、リソースの可用性に基づいて、できるだけ早く実行するよう指示されるため、柔軟な開始時間を持つジョブ向けの TPU および GPU リソースを簡単に取得できます。フレックススタートモードは、Google Kubernetes Engine (GKE) に加えて、Compute Engine マネージドインスタンスグループ、Batch、および Vertex AI カスタムトレーニングに統合されています。フレックススタートを使用することで、Google Cloud で提供されるさまざまな TPU および GPU タイプで数千の AI / ML ジョブを実行でき、取得性が向上しました。

カレンダーモードでは、AI に最適化されたコンピューティング能力への短期的な予約アクセスが提供されます。併置された GPU は最大 14 日間予約でき、最大 8 週間前から購入できます。この新しいモードは Compute Engine の「将来の予約」機能を拡張します。予約は空き状況に基づいて確認され、キャパシティは要求された開始日にプロジェクトに配信されます。その後、予約の全期にわたって容量ブロックを対象とする VM を簡単に作成できます。

「Dynamic Workload Scheduler により、オンデマンド GPU の取得性が 80% 向上し、研究者の実験の反復が高速化されました。ビルトイン Kueue と GKE の統合を活用することで、Dynamic Workload Scheduler の新しい GPU 容量を迅速に活用し、数か月の開発作業を迅速化することができました」 - Two Sigma、ソフトウェアエンジニア Alex Hays 氏

Google Distributed Cloud で、場所を選ばない AI を実現

企業による AI 導入の加速により、データの生成に近い場所でデータを処理または安全に分析するための柔軟な導入オプションの必要性が増しています。Google Distributed Cloud (GDC) は、Google のクラウドサービスのパワーを、企業のデータセンターやエッジなど必要な場所で活用できます。本日、Gemma 搭載の生成 AI 検索パッケージソリューション、パートナーソリューションが拡張されたエコシステム、新しいコンプライアンス認定など、GDC の機能の強化を発表しました。詳しくは GDC で、どこでも AI を実行する方法をご覧ください。

Google AI インフラストラクチャで加速

Google Cloud Next ‘24 では、AI プラットフォームやモデル、Gemini for Google Cloud による AI 支援など、あらゆる驚異的な AI イノベーションを発表しています。これらはすべて、AI に最適化されたインフラストラクチャの基盤によって支えられており、こうしたイノベーションがお客様の事業を加速させています。実際、生成 AI ユニコーン企業の約 90%、資金提供を受けた生成 AI スタートアップの 60% 以上が Google Cloud のお客様です。

「Runway のテキストから動画へのプラットフォームは AI ハイパーコンピューターにより強化されています。基盤に NVIDIA H100 GPU を搭載した A3 VM を活用したことで、トレーニングのパフォーマンスが A2 VM よりも大幅に向上し、Gen-2 モデルの大規模なトレーニングと推論が可能になりました。GKE を使用してトレーニングジョブを調整することで、単一のファブリックで数千の H100 にスケールし、高まるお客様の需要に応えることができています。」

Runway、CTO兼共同創設者 Anastasis Germanidis 氏

「Google Cloud に移行し、NVIDIA L4 GPU と Triton Inference Server を搭載した G2 VM で AI ハイパーコンピューターアーキテクチャを活用することで、モデル推論のパフォーマンスが大幅に向上しました。同時に、Google Cloud が提供する柔軟性によって実現される新しい技術を使用し、ホスティング費用を 15% 削減することができました。」

-Palo Alto Networks、シニアスタッフ機械学習エンジニア Ashwin Kannan 氏

「Writer のプラットフォームは、NVIDIA H100 と L4 GPU を搭載した Google Cloud A3 および G2 VM を利用しています。GKE を使用することで、700億を超えるパラメータまでスケールアップできる、17 を超える大規模言語モデル (LLM) を効率的にトレーニングおよび推論できています。また、NVIDIA NeMo フレームワークを活用して、毎月 1 兆回以上の API の呼び出しで毎秒 990,000 語を生成する産業用の強力なモデルを構築しています。当社がより大きなチームや予算を持つ企業のモデルを超える最高品質の推論モデルを提供できているのは、すべてGoogle と NVIDIA のパートナーシップによるものです。お客様が数か月や数年ではなく、数日で有意義な AI ワークフローを構築できるのは、この 2 社の AI 専門知識のおかげです。」

-Writer、共同創設者兼 CTO Wassem Alshikh 氏

AI ハイパーコンピューターの詳細についてはこちらをご覧いただくか、セールススペシャリストにお問い合わせください。

^{1. Forrester Research「The Forrester Wave™: AI Infrastructure Solutions, Q1 2024」、Mike Gualtieri、Sudha Maheshwari、Sarah Morana、Jen Barton 著、2024 年 3 月 17 日}

^{The Forrester Wave™ は Forrester Research, Inc. の著作権に帰属します。Forrester および Forrester Wave™ は、Forrester Research, Inc. の商標です。Forrester Wave は Forrester の市場に対する評価をグラフィカルに表現したものです。Forrester は Forrester Wave™ に記載された特定のベンダー、プロダクト、サービスを推奨することはありません。情報は、利用可能な最良のリソースに基づいています。評価はその時点での判断を反映したものであり、変更される可能性があります。}

ML で加速する分散型コンピューティングの第 5 エポックにおける成長

Thu, 29 Feb 2024 01:00:00 +0000

※この投稿は米国時間 2024 年 2 月 16 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: 本日は、Google で ML、システム、クラウド AI 担当バイスプレジデント兼ゼネラルマネージャーを務める Google Fellow の Amin Vahdat に話を聞きます。Amin は、この内容を 2023 年にワシントン大学で Allen School の Distinguished Lecture シリーズの基調講演として初めて発表しました。本投稿は、分散型コンピューティングの歴史と現状、そして次世代のコンピューティングサービスへの期待について、Amin の考察をまとめたものです。

ここ 50 年間でコンピューティングと通信は容量、効率性、機能が継続的かつ飛躍的に向上し、社会に変革をもたらしてきました。その間に、CPU のトランジスタ数は 5,000 万倍になり、インターネットのノード数は 4 つから 53 億 9,000 万にまで増加しました。

このような進歩は目覚ましいものですが、それがもたらす人間の能力向上はそれ以上に魅力的であり、以前は SF でしか考えられなかった領域に近づきつつあります。現在では、進化し続ける人間の知識にほぼ瞬時にアクセスでき、限界があるのはそれを理解する人間の能力だけです。リアルタイムに言語を翻訳できるようになり、人間のコミュニケーションに対する根本的な障壁が打ち破られています。検知とネットワークの速度がともに向上したことでリアルタイムのホログラフィック投影が可能になり、離れた場所にいる相手とも有意義な対話が持てるように活用されることになるでしょう。また、このようなコンピューティング能力の爆発的な向上により、科学とエンジニアリングの分野における現代の困難な課題を解決する次世代の AI システムが実現しています。たとえば、タンパク質の 3D 構造予測はほぼ即時に、原子レベルでの精度で可能になっており、その他にもテキストからイメージへの高度な拡散技術により、ユーザープロンプトに合致する高品質で極めてリアルな出力を得ることができます。

基礎となる技術を継続的に進歩させるのは、容易ではありませんでした。技術の根幹にかかわる問題が 10～15 年ごとに顕現し、そのたびに、インフラストラクチャの性能と規模の急速な拡大を維持するため、抜本的な発明とブレークスルーが必要になりました。結果的にまったく新しいカテゴリのサービスが生み出されてきました。それはまるで、克服しなければならない根本的な制限が次々と新たに突きつけられ、それらの制限がより厳しくなり続けることで、革新的な機会が生み出されているようでした。今、世界はこのような一世代に一度の難局に直面しています。これはチャンスでもあります。コンピューティングの根本的な需要が果てしなく増大し続ける中で、驚異的な速度で進歩し続け、さらに加速化できるかどうかがかかっています。

コンピューティングの歴史を簡単に振り返ると、コンピューティングの「エポック」をそれぞれ定義する 4 つの大きな移行期を経てきたことがわかります。このように歴史を分類すると、コンピューティングの第 5 エポックを定義し、推進していくべき明白な必要性が見えてきます。このエポックは、データ中心、宣言型、結果指向、ソフトウェア定義という特徴を持ち、分析情報をプロアクティブに提供することに重点を置いています。過去の各エポックでも、それまで想像もできなかったことが当たり前になりましたが、この第 5 エポックは過去最大の変革をもたらし、知識と機会がより広く行き届くことが期待されています。しかし同時に、このエポックでは、コンピューティングに関してこれまで積み上げられてきた本質的に最も困難な課題をいくつか克服する必要もあります。

まずはエポック 0 を振り返ってみましょう。厳密には数千年前にまで遡るべきだと主張する人もいるかもしれませんが、ここでは 1947 年から 1969 年までの間に起こったコンピュータサイエンスの重要かつ基本的な発展から話を始めることにします。この時代には、現代のコンピューティングと通信の基礎が築かれました。

1947 年: バーディーン、ブラッテン、ショックレーが世界初のトランジスタを発明する。

1948 年: シャノンがあらゆるネットワーク通信の基礎となる情報理論を考案する。

1949 年: コンピュータの内蔵プログラムが実用化される。

1956 年: 高水準プログラミング言語が発明される。

1964 年: 複数のハードウェア世代で一般的に使用される命令セットアーキテクチャが登場する。

1965 年: 集積回路あたりのトランジスタ数が 18～24 か月ごとに 2 倍になるというムーアの法則が発表される。

1967 年: マルチユーザーオペレーティングシステムにより、保護されたリソース共有が実現する。

1969 年: 現代のインターネットの基礎となる ARPANET が誕生する。

これらのブレークスルーにより、エポック 0 の終わりまでには現代のコンピューティングの基礎が形成されました。つまり、安定した命令セットアーキテクチャを実行する集積回路を基盤とする 4 台のコンピュータと、パケット交換方式のインターネットに接続されたマルチユーザー対応のタイムシェアリングオペレーティングシステムです。一見地味に見えますが、これが後のエポックにおける急速な進化の基盤となりました。

第 1 エポックでは、コンピュータネットワークは主に非同期方法で使用されていました。つまり、ネットワーク経由で（FTP などを介して）データを転送し、処理した後で、結果を送り返していました。

主な進歩: SQL、FTP、メール、telnet

コンピュータ間のインタラクション時間: 100 ミリ秒

特徴:

• 低帯域幅、高レイテンシのネットワーク

• 高価なコンピュータ間でまれに行われる相互インタラクション

• 人間との文字によるキーストロークインタラクション

• オープンソースソフトウェアの登場

ブレークスルー: パソコン

ネットワーク速度の向上、パソコンとワークステーションの普及、相互運用性のある幅広いプロトコル（IP、TCP、NFS、HTTP）により、第 2 エポックでは同期的で透過的なコンピューティングと通信が普及しました。

主な進歩: リモートプロシージャコール、クライアント/サーバーコンピューティング、LAN、リーダー選出とコンセンサス

コンピュータ間のインタラクション時間: 10 ミリ秒

特徴:

• 10 Mbps ネットワーク

• TCP/IP によるインターネットアーキテクチャのグローバルなスケーリング

• チップに完全に収まる 32 ビット CPU

• 複数コンピュータ間でのリソース共有

ブレークスルー: ワールドワイドウェブ

第 3 エポックでは、HTTP とワールドワイドウェブの本格的なブレークスルーによってネットワークコンピューティングが一般に普及し、パーソナルコンピューティングの限界が打ち破られました。急速な成長を続けるインターネットと、グローバルなユーザー層のニーズに適応するため、現代のコンピューティングの設計パターンはこの時代に数多く確立されました。

第 3 エポックの推進要因の一つとなったのが、シングル CPU コアの最大クロック周波数を本質的に制限していたデナードスケーリングの終了でした。この制限により、業界はマルチコアアーキテクチャを採用し、非同期、マルチスレッド、同時実行の開発環境への移行が必要になっていました。

主な進歩: HTTP、3 層サービス、巨大クラスタ、ウェブ検索

コンピュータ間のインタラクション時間: 1 ミリ秒

特徴:

• 100 Mbps～1 Gbps のネットワーク

• 自律システムと BGP • 単一サーバーでは複雑なアプリに対応できなくなり、複数サーバーにスケーリング

• ウェブインデックス作成とウェブ検索、一般へのメールの浸透

ブレークスルー: クラスタベースのインターネットサービス、モバイルファーストデザイン、マルチスレッディング、命令レベルの並列性

第 4 エポックでは、広く普及したモバイルデバイスを介して数十億人が利用できる全世界規模のサービスが確立されました。同時に、ML の進化によってリアルタイムのコントロールと分析が推進されました。これらすべての基盤となったのが、高速ネットワークで相互接続され、連動して膨大なデータセットをリアルタイムで処理するウェアハウス規模のクラスタでした。

主な進歩: グローバルなモバイルデータカバレッジ、世界規模のサービス、場所を問わずアクセスできる動画

コンピュータ間のインタラクション時間: 100 マイクロ秒

特徴:

• 10～100 Gbps のネットワーク、flash

• 各 CPU ソケットに複数のコア

• LAN を横断してスケールアウトするインフラストラクチャ（例: GFS、MapReduce、Hadoop）

• モバイルアプリ、グローバルなモバイルデータカバレッジ

ブレークスルー: 主流となった ML、即時に利用可能な専門的コンピューティングハードウェア、クラウドコンピューティング

現在は第 5 エポックに移行しましたが、このエポックには 2 つの相反する傾向があります。まず、ASIC あたりのトランジスタ数は急速に増加し続けている一方で、クロックレートには変化がなく、各トランジスタのコストもほぼ横ばいとなっています。これらの改善を抑制している要因は、複雑化と、機能サイズの縮小に必要な投資の増大です。これは、コンピューティング、DRAM、ストレージ、ネットワークインフラストラクチャのすべてで、コストに対するパフォーマンスの向上（パフォーマンス効率）が頭打ちになっていることを意味します。一方で、ユビキタスなネットワークカバレッジ、幅広く設置されたセンサー、データを大量に消費する ML アプリケーションなどにより、物理的なコンピューティングインフラストラクチャの需要は爆発的に高まっています。

主な進歩: ML、生成 AI、プライバシー、サステナビリティ、社会的インフラストラクチャ

コンピュータ間のインタラクション時間: 10 マイクロ秒

特徴:

• 200 Gbps～1 Tbps 以上のネットワーク

• ユビキタスで電力効率の高い高速ワイヤレスネットワークカバレッジ

• 専門化が進むアクセラレータ: TPU、GPU、スマート NIC

• ソケットレベルのファブリック、光学、連携アーキテクチャ

• 接続されたスペース、自動車、家電、ウェアラブルなど

ブレークスルー: 今後に期待

コンピューティングの設計と組織における根本的なブレークスルーがなければ、コンピューティングインフラストラクチャに対する社会の需要に応える能力は全体的に弱まります。このような制限を克服する新たなアーキテクチャ（新しいハードウェアとソフトウェアのアーキテクチャ）を生み出すことで、コンピューティングの第 5 エポックが定義されます。

コンピューティングの第 5 エポックで実現するブレークスルーを予測することはできませんが、過去の各エポックでは規模、効率、コストパフォーマンスが 100 倍向上し、同時にセキュリティと信頼性も改善されました。規模と能力に対する要求が高まり続ける中、ムーアの法則とデナードスケーリングによる追い風なしでこのような成果を達成することは困難でしょう。しかし、第 5 エポックには大まかに以下が関連することが考えられます。

宣言型プログラミング モデル: 専用プロセッサにおける順次コード実行のフォンノイマンモデルは、デベロッパーにとってここ数十年間非常に有用なモデルでした。しかし、分散型のマルチスレッドコンピューティングの台頭によって抽象化は崩壊し、現代の命令コードの多くでは非同期性、異種性、テールレイテンシ、オプティミスティック同時実行、障害を管理するために防御的で多くが非効率的な構成概念に焦点が当てられています。複雑さは今後数年は高まり続ける見込みで、インテント、ユーザー、ビジネスロジックに焦点を当てた新しい宣言型プログラミングモデルの登場が不可欠です。また、実行フローの管理と、変化するデプロイ条件への対応には、今以上に高度なコンパイラと、ML を利用したランタイムを使用する必要があります。
ハードウェア セグメンテーション: これまでのエポックでは、CPU、メモリ、ストレージ、ネットワーキングのシステムバランスを備えた汎用サーバーアーキテクチャが、データセンター全体のワークロードのニーズを効率的に満たすことができていました。しかし、専門的なコンピューティングのニーズ、ML トレーニング、推論、動画処理に対応した設計では、ストレージ、メモリ容量、レイテンシ、帯域幅、通信の要件が相反するために、異種設計が急増しています。汎用コンピューティングのパフォーマンスが年に 1.5 倍のペースで向上していた時代には、複雑さを考えると、ワークロードの 10% に対して 5 倍の改善を目指すことでさえ意味がありませんでした。現在は、この程度の改善も無視できなくなっています。このギャップに対処するには、コンポーズ可能なハードウェア ASIC とメモリユニットを数年ではなく数か月で設計、検証、認定、デプロイするための新しいアプローチが必要になります。
ソフトウェア定義のインフラストラクチャ: 基盤となるインフラストラクチャの複雑化と分散化が進む中で、メモリから CPU までの複数の仮想化レイヤにより、個別のアプリケーションに対する単一サーバーの抽象化が維持されてきました。インフラストラクチャがスケールアウトし続け、異種混合化が進む中で、このトレンドは次のエポックでも継続する見込みです。ハードウェアセグメンテーション、宣言型プログラミングモデル、数千台のサーバーで構成される分散コンピューティング環境により、仮想化は個々のサーバーの範囲を超え、単一サーバー、複数サーバー、ストレージとメモリアレイ、クラスタでの分散コンピューティングが含まれるようになり、場合によってはキャンパス全体のリソースを統合して最終結果を効率的に提供できるようになります。
安全性が実証されたコンピューティング: 前のエポックでは、コンピューティング効率を維持するために、セキュリティと信頼性が意図せず犠牲となっていました。しかし、生活のオンライン化が進む中で、個人、企業、行政機関にとってプライバシーと機密性保持の必要性が急速に高まっています。データ主権や、派生データであってもその物理的な場所を制限する必要性は、行政機関の規定を遵守するためだけでなく、増加する ML 生成コンテンツのリネージを透明性を持って示すためにますます重要になります。ベースラインパフォーマンスを多少犠牲にしても、これらのニーズは最優先で満たす必要があります。
サステナビリティ: コンピューティングの第 3 エポックまでで、固定電源のパフォーマンスは飛躍的に向上しました。第 4 エポックにおけるデナードスケーリングの終了とともに、コンピューティングに関連する世界の電力消費量は急速に増加しましたが、その一部はクラウドホスト型のインフラストラクチャによって相殺されました。このインフラストラクチャでは、それまでのオンプレミス設計と比べ、電力効率が 2～3 倍向上するためです。また、クラウドプロバイダは、まずはカーボンニュートラル、次にカーボンフリーの電源への移行に向けて幅広い取り組みを進めてきました。しかし、第 5 エポックではデータとコンピューティングに対する需要が増大し続け、さらに加速する可能性もあります。そのため、電力効率と二酸化炭素排出量は、システム評価の主要な指標になるでしょう。特に注目すべきは、インフラストラクチャの構築と提供のライフサイクル全体を通じたエンボディドカーボンの可視性向上と最適化が必要になることです。
アルゴリズムのイノベーション: パフォーマンスの急速な向上により、ソフトウェアの効率性改善は見過ごされがちになりました。しかし、基盤となるハードウェアコンポーネントの改善が鈍化する中で、ソフトウェアとアルゴリズムの改善に目が向けられることになるでしょう。調査によると、システムコードでソフトウェアを 2～10 倍最適化できる余地があります。ソフトウェアをこのように最適化できる余地を効率的に特定し、これらのメリットを本番環境システムで適切、確実、大規模に実現する手法を開発することは、重要な機会となります。コーディング LLM における最近のブレークスルーを活用し、この作業を一部自動化することで、第 5 エポックが大きく加速するはずです。

ここまでの内容をまとめると、第 5 エポックでは、MIPS あたりの費用、DRAM の GB あたりの費用、Gbps あたりの費用など、下位レベルのコンポーネント別指標ではなく、全体的なユーザーシステム効率の指標（秒単位での有益な回答数）が重視されます。また、効率の単位は単純に単価あたりのパフォーマンスで測定されるものではなくなり、電力消費量と二酸化炭素排出量が明示的に考慮され、セキュリティとプライバシーが主要な指標として使用されます。またこれらすべてに対して、社会の依存度が高まっているインフラストラクチャの信頼性に関する要件も適用されます。まとめると、次世代のインフラストラクチャを提供するための新たな可能性は、以下のように数多く残されています。

ハードウェアとソフトウェアを含む分散インフラストラクチャのスケールアウト効率は、10 倍以上改善できる可能性があります。
ソフトウェア定義のインフラストラクチャにより、アプリケーションバランスポイント（コンピューティング、アクセラレータ、メモリ、ストレージ、ネットワークなどの異なるシステムリソース間の比率）のマッチングでも、10 倍の改善を達成できる可能性があります。
従来の画一的な汎用コンピューティングアーキテクチャと比較して、次世代のアクセラレータとセグメント固有のハードウェアコンポーネントでは、10 倍以上の改善を達成できる可能性があります。
最後に、これは定量化するのが困難ですが、デベロッパーの生産性を改善すると同時に、信頼性とセキュリティを大幅に向上させるという非常に重要な機会もあります。

これらのトレンドを組み合わせると、次のエポックでは効率性をさらに 1,000 倍も劇的に向上させられる可能性があります。これが実現すれば、次世代のインフラストラクチャサービスが定義され、おそらくマルチモーダルモデルと生成 AI のブレークスルーが中核となる次世代のコンピューティングサービスが可能になります。次世代のコンピューティングの意味を定義し、それを設計、デプロイする機会はめったに訪れません。この第 5 エポックにおける構造的転換には、おそらく過去最大の技術的変革と課題が伴い、コンピューティングの初期にはおそらく見られなかったレベルの責任、コラボレーション、ビジョンが求められます。

-ML、システム、クラウド AI 担当ゼネラル マネージャー兼バイス プレジデント Amin Vahdat

次世代の AI ワークロードを実現: TPU v5p と AI ハイパーコンピュータを発表

Thu, 07 Dec 2023 01:00:00 +0000

※この投稿は米国時間 2023 年 12 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。

近年生成 AI モデルは急速に進化しており、あらゆる業界の企業や開発者はその比類のない洗練性と能力を活かし、複雑な問題を解決し、新たな機会を解き放つことができるようになりました。この 5 年間で、AI モデルのパラメータ数が毎年 10 倍増加している一方、学習、チューニング、推論に対する需要も高まっています。パラメータが数千億、数兆規模の今日の大規模モデルは、最も特化したシステムであっても、時には数か月に及ぶ学習期間を必要とします。さらに、効率的な AI ワークロード管理には、最適化されたコンピュート、ストレージ、ネットワーキング、ソフトウェア、開発フレームワークで構成される、統合された AI スタックが必要です。

Google Cloud はこれらの課題に対処すべく、本日、我々の最も強力でスケーラブルかつ柔軟な AI アクセラレータ「Cloud TPU v5p」を発表しました。TPU は、YouTube、Gmail、Google マップ、Google Play、Android などの AI 搭載製品のトレーニングやサービングの基盤となっており、本日発表した、Google の高性能な AI モデルである Gemini のトレーニングおよび提供にも TPU v5p を利用しています。

さらに本日、パフォーマンスに最適化されたハードウェア、オープンソフトウェア、主要な ML フレームワーク、およびそれらを柔軟に利用可能な形で統合した、画期的なスーパーコンピュータアーキテクチャの「AI ハイパーコンピュータ」も発表しました。従来の手法では、要求の厳しい AI ワークロードに対して、コンポーネントレベルの断片的な機能強化を行うことが多いため、非効率的であったり、ボトルネックになる可能性がありました。対照的に AI ハイパーコンピュータは、システムレベルでそれらを最適化し、AI のトレーニング、チューニング、サービング全体の効率と生産性を向上させることができます。

最も強力かつスケーラブルな TPU アクセラレータ、Cloud TPU v5p

Google Cloud は 2023 年 11 月、Cloud TPU v5e の一般提供を発表、前世代の TPU v4 と比較して 2.3 倍のコストパフォーマンス向上を達成し、これまでで最もコストパフォーマンスの高い TPU を実現しました。本日発表した Cloud TPU v5p は、最も強力な TPU です。TPU v5p の各ポッドは、8,960 個のチップで構成されており、3D トーラスのトポロジーで4,800 Gbps / チップという最高帯域幅のチップ間相互接続（ICI）を実現しています。また TPU v5p は TPU v4 と比較して 2 倍以上の浮動小数点演算性能（FLOPS）と 3 倍以上の高帯域幅メモリ（HBM）を備えています。

TPU v5p は、パフォーマンス、柔軟性、スケールを重視して設計されており、TPU v4 と比較して 2.8 倍高速に大規模言語モデル（LLM）をトレーニングできます。さらに、第 2 世代の SparseCores を使用することで、TPU v41 より 1.9 倍高速に密埋め込みモデルを学習できます。

Google 内部データ。2023 年 11 月時点の情報。GPT3-175B すべての数値はチップごとに正規化

TPU v5e は MLPerf™ 3.1 Training Closed の結果、TPU v5p と TPU v4 については Google 内部データ。2023 年 11 月時点の情報: すべての数値は、チップごとに正規化。相対的なパフォーマンスで実装した GPT-3 1,750 億パラメータモデルの場合、seq-len=2048。使用した正規料金: TPU v4 はチップ時間あたり $ 3.22、TPU v5e は、チップ時間あたり $ 1.2、TPU v5p は、チップ時間あたり。

TPU v5p は性能向上に加え、ポッドごとに利用可能な FLOPS も TPU v4 と比べて 4 倍スケーラブルです。さらに、1 秒あたりの FLOPS の合計数が TPU v4 の 2 倍、1 つの Pod 内のチップ数が 2 倍のため、トレーニング速度における相対的なパフォーマンスが大幅に向上します。

Google AI ハイパーコンピュータ、大規模で最高の性能と効率を実現

最新の AI/ML アプリケーションやサービスのニーズを満たすには、スケールとスピードの両立が不可欠です。それだけでなく、ハードウェアとソフトウェアのコンポーネントが統合され、使いやすく、安全で信頼性の高いコンピューティングシステムが求められています。この課題について数十年にわたる研究開発を行った結果、最新の AI ワークロードを実現するために連携して動作する、最適化されたテクノロジーシステムである AI ハイパーコンピュータが実現しました。

パフォーマンスに最適化されたハードウェア: AI ハイパーコンピュータは、高密度化されたチップ、液体冷却、Jupiter データセンターのネットワークテクノロジーを活用し、パフォーマンスに最適化されたコンピュート、ストレージ、ネットワーキングがウルトラスケールのデータセンターインフラ上に構築されています。これらはすべて、効率性を重視しつつ、カーボンフリーの未来に向けて前進するためのクリーンエネルギーとウォータースチュワードシップへのコミットメントに基づいています。
オープンソフトウェア: 開発者は、オープンソフトウェアを使用してハードウェアにアクセスし、パフォーマンスに最適化された AI ハードウェア上で AI トレーニングおよび推論ワークロードのチューニング、管理、動的なオーケストレーションなどを行うことができます。
- JAX、TensorFlow、PyTorch などの一般的な ML フレームワークが、すぐに利用できます。JAX と PyTorch は、洗練された LLM を構築するための OpenXLA コンパイラを搭載しています。XLA は基礎的なバックボーンとして機能し、PyTorch/XLAによる Cloud TPU 上での Llama 2 の学習と推論など、複雑な多層モデルの作成を可能にします。また、幅広いハードウェアプラットフォームで分散アーキテクチャを最適化し、AssemblyAI での大規模な AI 推論を含む、多様な AI ユースケースで使いやすく効率的なモデル開発も実現します。
- オープンでユニークなマルチスライストレーニングとマルチホスト推論ソフトウェアが、ワークロードのスケーリング、トレーニング、サービングをスムーズかつ簡単にします。開発者は、要求の厳しい AI ワークロードをサポートするために、数万チップまで拡張することができます。
- Google Kubernetes Engine（GKE）および Google Compute Engine との統合により、効率的なリソース管理、一貫した運用環境、自動スケーリング、ノードプールの自動プロビジョニング、自動チェックポイント、自動リカバリ、タイムリーな障害復旧を実現します。
フレキシブルな利用: AI ハイパーコンピュータは、確約利用割引（CUD）、オンデマンド料金、スポット料金といった従来の選択肢に加え、Dynamic Workload Scheduler を通じて AI ワークロードに合わせ、柔軟でダイナミックな幅広い消費オプションを提供します。Dynamic Workload Scheduler は、より高いリソース取得可能性と最適化された経済性を実現する Flex Start Mode と、ジョブ開始時間の予測可能性が高いワークロードを対象とする Calendar Mode の 2 つのモデルを導入しています。

Google の知見を AI の未来に活用

Salesforce や Lightricks などのお客様は、Google Cloud の TPU v5p AI ハイパーコンピュータで大規模 AI モデルをトレーニングしたサービスを提供しています。

「Salesforce では、基礎モデルの事前トレーニングに Google Cloud TPU v5p を活用することでトレーニング速度が大幅に向上しました。Cloud TPU v5p の計算性能は、前世代の TPU v4 を 2 倍も上回っており、JAX を使った Cloud TPU v4 からv5p への移行もシームレスで簡単です。Accurate Quantized Training（AQT）ライブラリを介して INT8 精度フォーマットのネイティブサポートを活用し、モデルを最適化することで、これらの速度向上をさらに進めたいと考えています」- Salesforce、シニアリサーチサイエンティスト、Erik Nijkamp 氏

「Lightricks では、Google Cloud TPU v5p の卓越した性能とメモリ容量を活用し、別々のプロセスに分割することなく、テキストから動画への生成モデルの学習に成功しました。最適なハードウェア利用により、各トレーニングサイクルが大幅に高速化され、一連の実験を迅速に実施できるようになっています。各実験でモデルを迅速にトレーニングおよび反復できることは、競争の激しい生成 AI の分野において、私たちの研究チームの貴重なアドバンテージとなっています」- Lightricks、コア生成AI チームリーダー、Yoav HaCohen 博士

「初期段階での使用ではありますが、Google DeepMind と Google Research は、TPU v5p チップを使用した LLM トレーニングのワークロードにおいて、TPU v4 のパフォーマンスと比較して 2 倍のスピードを確認しています。また、ML フレームワーク（JAX、PyTorch、TensorFlow）とオーケストレーションツールの強固なサポートにより、v5p 上でさらに効率的にスケーリングすることができます。さらに、第 2 世代の SparseCores により、埋め込みを多用するワークロードのパフォーマンスが大幅に向上しました。TPU は、Gemini のような最先端のモデルで、我々の最大規模の研究とエンジニアリングの取り組みを可能にするために不可欠です」- Google DeepMind / Google Research チーフサイエンティスト、Jeff Dean

Google は、AI により、あらゆる課題を解決することができると考えています。近年まで、大規模な基礎モデルをトレーニングし、大規模に提供することは、多くの組織にとって複雑で多額の費用がかかる取り組みでした。今回発表した Cloud TPU v5p と AI ハイパーコンピュータによって、AI とシステム設計における数十年の研究成果をお客様に提供できることを嬉しく思います。

Cloud TPU v5p および AI ハイパーコンピュータへのアクセスに関しては、Google Cloud アカウント担当者にお問い合わせください。Google Cloud の AI インフラストラクチャの詳細については、Google Cloud Applied AI Summit にご登録ください。

^{1: 2023 年 11 月時点の TPU v5p の Google 内部データ: E2E ステップタイム、SearchAds pCTR、TPU コアあたりのバッチサイズ 16,384、125個のvp5チップ
2: 2023 年 11 月時点の TPU v5eのGoogle内部データ: seq-len=2048、MaxText を使用して実装された 320 億パラメータデコーダのみの言語モデル。}

-VP/GM ML, Systems, and Cloud AI, Amin Vahdat
-VP/GM, Compute and ML Infrastructure, Mark Lohmeyer

AI 主導の未来のために、サステナブルかつスケーラブルで安全なインフラストラクチャを構築する方法

Thu, 09 Nov 2023 02:00:00 +0000

※この投稿は米国時間 2023 年 10 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: 今回は、Google バイス プレジデント兼テクニカル フェローの Parthasarathy Ranganathan と、VP 兼 GM の Amin Vahdat から話を聞きます。Partha は本日、オープン ハードウェア業界のリーダー、研究者、先駆者のための年次会議である OCP Global Summit で基調講演を行いました。Partha は 2020 年から今年初めまで OCP の理事を務めました。その後は Amber Huffman が Google の代表者として後任を務めています。最先端のシステム設計を促進しているマクロトレンドと、コミュニティにおける Google の活動すべての概要を以下にご紹介します。

Google では、何十億ものユーザーに活用されているサービスのための地球規模のコンピューティングを構築しています。これらのサービスは、システム設計者にとって、高いパフォーマンス、復元力、効率性を備え、かつ大規模に動作するハードウェアを作成する素晴らしい機会につながりました。つまり、私たちはシステム設計の新時代に向けてオープンイノベーションを採用しました。

現在、私たちはコンピューティングにおける新たな根本的な転換点、つまり AI の台頭に立ち会っています。これまでも、Google のプロダクトには常に強力な AI コンポーネントが含まれていましたが、ここ 1 年における業界の地殻変動を受けて、Google はコアプロダクトを生成 AI の力で強化しました。

これらの進歩は、2017 年の最初の Transformer モデルから 2022 年の PaLM、そして現在の Bard に至るまで、当社のコンピューティングシステムとワークロード全体に現れています。大規模言語モデルのパラメータ数は、数億から数兆にまで成長し、毎年ほぼ一桁ずつ増加しています。モデルのサイズが大きくなるにつれて、これらのモデルを実行するために必要な計算量も増加します。これは要するに、オープンイノベーションコミュニティが協力して解決する必要がある課題と機会が生まれるということです。

AI は、新しいアプリケーションを実現するだけでなく、プラットフォームの根本的な変化を表すものであり、ハードウェアとソフトウェア全体で革新を進める必要があります。私たちは協力して、サステナブルで安全かつスケーラブルな方法で、複雑な ML スーパーコンピュータ全体に強力な AI ソリューションを提供するハードウェアプラットフォームとソフトウェアプラットフォームを構築する必要があります。

サステナブルなシステムに向けて

サステナビリティは私たち全員に共通の必須事項です。排出量実質ゼロの達成に向けて業界を支援するために、Google が関与している取り組みをいくつかご紹介します。

ネット ゼロ イノベーション ハブ: 4 月の OCP 地域サミットにおいて、地域レベルでサステナビリティを推進するためにヨーロッパ全土の官民が連携することを求めた Google の呼びかけに、業界が応えたことで始まった取り組みです。廃熱の再利用や送電網の可用性など、あらゆる範囲にわたる野心的な議題を掲げるネットゼロイノベーションハブは、共同創設者である Danfoss、Google、Microsoft、Schneider Electric によって 9 月 28 日に創設されました。
より環境に優しいコンクリート: iMasons Climate Accord、AWS、Google、Meta、Microsoft と協力して、コンクリートを脱炭素化するための野心的な技術ロードマップを作成しました。コミュニティで連携して、このロードマップをぜひ実行したいと考えています。ぜひご参加ください。
サステナビリティの指標: 昨年、Google と Microsoft が共同で主導する OCP データセンター施設のサステナビリティに関するサブプロジェクトを立ち上げました。このグループは、排出量 / 炭素、エネルギー、水などに関する明確で一貫性のある標準化された指標の確立を進めるうえで重要な進化を遂げています。この取り組みにより、共通の目標を達成するために最適な方法を評価するための、基準が一貫したデータドリブンなアプローチが可能になります。

システムスタック全体のセキュリティの強化

セキュリティには、トラステッドコンピューティングとリライアブルコンピューティングの両方が含まれます。この分野における興味深い進展を以下にご紹介します。

Caliptra: Caliptra は、ルートオブトラスト管理用の再利用可能な IP ブロックです。昨年、私たちは業界リーダーである AMD、Microsoft、NVIDIA と協力して、Caliptra 仕様の草案を OCP に提供しました。Caliptra 仕様は今年完成し、IP ブロックを CPU、GPU、その他のデバイスに統合する準備が整います。https://github.com/chipsalliance/caliptra でコードリポジトリを確認してください。
OCP S.A.F.E.: Google は OCP および Microsoft と連携して、OCP Security Appraisal Framework and Enablement（S.A.F.E.）プログラムを開発しました。OCP S.A.F.E. は、ファームウェアリリースの出所、コード品質、ソフトウェアサプライチェーンに対する標準化されたアプローチを提供します。詳細については、https://www.opencompute.org/projects/ocp-safe-program をご覧ください。
リライアブル コンピューティング: 昨年 Google は、AMD、ARM、Intel、Meta、Microsoft、NVIDIA とともに、OCP でサーバーコンポーネントの復元ワークストリームを形成し、シリコン障害やサイレントデータエラーに対処するためのシステムアプローチを採用しました。このチームは、仕様草案の公開や、Silent Data Corruption（SDC）フレームワークのオープンソース化など、大きく前進しました（例: Open Datacenter Diagnostics、AMD の Open Field Health Check、NVIDIA の Datacenter GPU Manager での Intel と ARM のコラボレーション）。この重要な分野を迅速に発展させていくため、この分野における重要な学術研究を支援する会員企業と協力して、OCP としては初の新しい学術助成プログラムを立ち上げることになりました。

シリコンからクラウドまでのスケーラビリティ

Google と OCP の両方にとって、シリコンからクラウドに至るまでのスケーラブルなインフラストラクチャは、主要な焦点分野となっています。今週の OCP Summit では、この分野における進歩、具体的には以下について話し合います。

アクセラレータ: 今年、Google は AMD、ARM、Intel、Meta、NVIDIA と連携して OCP 8 ビット浮動小数点仕様を実現し、トレーニングとサービス提供をそれぞれ別個のアクセラレータで行えるようにしました。Google は Microsoft、NVIDIA と連携して、信頼性、管理性、更新をカバーする GPU およびアクセラレータ用の一連のファームウェア仕様を提供しました。
AI: AI Track では、OpenXLA エコシステムにおけるパートナーとの進歩をご紹介します。また、AI によってシステム設計をどのように変革できるかを検討し、AI のためのシステムを超えてシステムのための AI を目指す、MLCommons との共同による新しい取り組みである Architecture Gym についても議論します。
ネットワーキング: 大規模な AI インフラストラクチャを実際に構築するには、世界クラスのネットワーキングシステムのイノベーションが必要です。これを支援するため、Google の信頼性の高い低レイテンシのハードウェアトランスポートである Falcon を公開し、パフォーマンス、レイテンシ、トラフィック制御などに関して過去 10 年間に達成した進歩の一部をご紹介します。これは、継続的な取り組みの一環であり、ハイパースケーラー環境向けの高性能、低レイテンシファブリックとして、業界におけるイーサネットの役割を進化させます。詳細については、ブログ投稿「Google、高信頼性・低レイテンシのハードウェアトランスポートの Falcon をエコシステムに公開」をご覧ください。
ストレージ: Google は、Meta、Microsoft、Dell、HPE とのワーキンググループである OCP Data Center NVM Express™（NVMe）仕様に参加し、柔軟なデータ配置、セキュリティ、テレメトリなどのデータセンター SSD の機能に対する明確な要件を提供します。また、パートナーである Microsoft、Samsung、Kioxia、Solidigm と協力して、NVMe キー管理ブロックを開発する新しいオープンソースハードウェアの取り組みも開始しています。

業界のあらゆる企業に、イノベーションのためのさらにオープンなエコシステムを構築する大きなチャンスがあります。Google には、Android、Chromium、Kubernetes、Kaggle、Tensorflow、Jax など、オープンエコシステムを受け入れ、育成してきた伝統があります。また、業界標準を設定し、コミュニティを成長させ、イノベーションを広く共有してきました。Open Compute Project Foundation への Google の貢献は数年前に遡り、最初の 48V ラックの寄贈から今日に至るまで、OCP 理事会に所属し、特に貢献している企業の一つとなっています。Google は、ハードウェアとソフトウェア、複数レイヤのスタック、コンピューティング、ネットワーク、ストレージ、インフラストラクチャ、産業界と学術界、そしてもちろん企業全体にわたる共同設計とコラボレーションを通じて達成される、最高の瞬間はまだ訪れていないと考えています。

現在は、日々の新たな AI の進歩が、文字どおり未来を作り出しているという刺激的な時代です。こうした驚くべき AI の進歩すべてに対応していくには、AI 主導の未来に必要なサステナブルで安全かつスケーラブルな社会インフラを構築するための、インフラストラクチャ周りの健全なイノベーションエコシステムを業界のあらゆる企業が提供する必要があります。そしてこれらすべては、コミュニティ内の私たち全員の協力によってのみ可能になります。OCP Global Summit のアジェンダについて詳しくは、こちらをご覧ください。また、Google による講演については、こちらをご覧ください。今週も活発な議論が行われることを楽しみにしています。

-Google、バイス プレジデント / テクニカル フェロー Parthasarathy Ranganathan

-Google、ML / システム / Cloud AI 担当バイス プレジデント兼ゼネラル マネージャー Amin Vahdat

Google、高信頼性・低レイテンシのハードウェアトランスポートの Falcon をエコシステムに公開

Thu, 09 Nov 2023 02:00:00 +0000

※この投稿は米国時間 2023 年 10 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。

Google には、イーサネットを使用して大規模な問題を解決し、高バースト帯域幅、高メッセージレート、低レイテンシを必要とする要求の厳しいワークロードに対応できるよう、トランスポート層を見直してきた長い歴史があります。長い間、ストレージのようなワークロードはこうした特性を必要としてきましたが、大規模な AI / ML トレーニングやハイパフォーマンスコンピューティング（HPC）といった新たなユースケースにより、その必要性は著しく高まっています。これまで、Association for Computing Machinery やインターネット技術特別調査委員会に Google のアイデアを提供することで、トラフィックパターン、輻輳制御、ロードバランシングなどについての知見を業界とオープンに共有してきました。これらのアイデアは、数年前からソフトウェアに実装され、その一部はハードウェアにも実装されています。しかし将来的には、業界全体で柔軟性の高い専用のハードウェア補助とセットで実装することにより、さらに多くのメリットがもたらされるようになると、Google は考えています。

この目標を達成するため、Google はソフトウェアのみのトランスポートよりも一歩進んだパフォーマンスを実現する Falcon を開発しました。今回の OCP Global Summit において、Google は Open Compute Project を通じて Falcon をエコシステムに公開しました。Open Compute Project は、Google の生産性に関する知見でコミュニティを強化し、イーサネットのモダナイズを支援するのに適した場です。

ハードウェア補助型トランスポート層である Falcon は、高信頼性、高性能、低レイテンシを実現するよう設計されており、Carousel、Snap、Swift、PLB、CSIG など、運用実績のあるテクノロジーを活用しています。

以下の図は、Falcon のレイヤを示したものです（関連する機能を含む）。上位層プロトコル（ULP）には RDMA と NVM Express™ が示されていますが、Falcon はエコシステムが必要とするその他の ULP にも拡張できます。

Falcon の下位層では、3 つの重要なインサイトを活用して、高帯域でありながらデータ損失の多いイーサネットデータセンターネットワークで低レイテンシを実現しています。きめ細かなハードウェア補助を活用したラウンドトリップ時間（RTT）測定、柔軟性の高いフローごとのハードウェア強制トラフィックパターン、高速かつ正確なパケットの再送が、PSP で暗号化されたマルチパス対応の Falcon 接続と組み合わされています。この基盤の上で、Falcon はパフォーマンス要件やアプリケーションセマンティクスが多種多様な ULP をサポートできるマルチプロトコルトランスポートとして一から設計されています。ULP マッピングレイヤは、最初から InfiniBand Verbs RDMA と NVMe ULP に対応しているだけでなく、柔軟な順序セマンティクスや適切なエラー処理など、ウェアハウス規模のアプリケーションに不可欠なイノベーションも加えられています。最後になりましたが、ハードウェアとソフトウェアは、プログラマビリティと継続的なイノベーションのための柔軟性を維持しながら、高メッセージレート、低レイテンシ、高帯域幅という望ましい特性を実現するために連携して動作するよう、協調設計されています。

Falcon には、イーサネットが私たちの業界で果たし続けている中心的な役割が反映されています。ウェアハウス規模で予測可能な高い性能を発揮し、優れた柔軟性と拡張性を実現できるよう設計されています。Google はコミュニティや業界パートナーと協力してイーサネットをモダナイズし、AI 主導の未来のネットワーク要件に応えていく計画です。Falcon は、この分野で進められている他の取り組みに追加されたテクノロジーとして価値のあるものだと Google は確信しています。

業界からの声

業界全体にわたり、Google のパートナーは Falcon が次世代イーサネットの開発に貢献することを熱望しています。

「AI と HPC に最適なデータセンター ファブリックとしてイーサネットを強化するという Ultra Ethernet Consortium のビジョンを共有しているため、Google の Falcon の貢献を歓迎し、この重要な分野における業界の継続的なイノベーションを楽しみにしています。」 - Ultra Ethernet Consortium（AMD、Arista、Broadcom、Cisco、Eviden、Hewlett Packard Enterprise、Intel、Meta、Microsoft、Oracle が主導）議長、J Metz 博士

「Intel IPU E2000 シリーズで最初に利用可能となったのが Falcon です。低いテール レイテンシと輻輳処理を大規模に加えるイーサネット トランスポートの最初のインスタンスとして、この IPU の価値がさらに強化されます。Intel は、高性能 AI と HPC のワークロードのためにイーサネットの進化に取り組む Ultra Ethernet Consortium の運営メンバーです。結果として得られた標準ベースの機能強化を、今後の IPU およびイーサネット製品にデプロイしていく予定です。」 - Intel、ネットワーク＆エッジグループ担当 SVP 兼 GM、Sachin Katti 氏

「AI や HPC のような重要なワークロード向けの高性能トランスポート プロトコルが標準のイーサネット / IP ネットワーク上で動作し、アプリケーション用の大きな帯域幅を大規模に実現できることを嬉しく思います。」 - Arista Networks、ソフトウェアエンジニアリング担当グループ VP、Hugh Holbrook 氏

「Cisco は、OCP への Falcon の貢献を嬉しく思っています。当社は長い間オープン スタンダードを支持し、幅広いエコシステムの力を信じてきました。最新のデータセンター ネットワーク、特に AI / ML ネットワークはかつてない速度と規模で普及しており、業界に課題と機会をもたらしています。Falcon はこうしたネットワークの課題の多くに対処し、効率的なネットワーク利用を可能にしてくれます。」 - Cisco、Cisco フェロー、Ofer Iny 氏

「Juniper はオープン エコシステムの強力なサポーターであり、Falcon が OCP コミュニティに公開されることを嬉しく思っています。Falcon は、イーサネットが高帯域幅、低テール レイテンシ、輻輳緩和を提供し、要求の厳しいワークロードのために選ばれたデータセンター ネットワークとして機能することを可能にします。本日より、要求の厳しい AI や ML のワークロード向けの実績あるソリューションが業界にもたらされます。」 - Juniper、最高技術責任者、Raj Yavatkar 氏

「Marvell は、AI のような新しくて要求の厳しいワークロードをサポートするように進化するオープンなイーサネット エコシステムを強力に支援し、その発展にコミットしています。Falcon の OCP への貢献を称えつつ、Google による実践的な経験の共有に感謝します。」 - Marvell、ネットワークスイッチンググループ担当 SVP 兼 GM、Nick Kucharewski 氏

その他のリソース

ネットワーキングは、この AI 主導の未来に必要とされる、サステナブルかつ安全でスケーラブルなソーシャルインフラストラクチャを構築するうえで基盤となるコンポーネントです。Falcon について詳しくは、OCP Summit のプレゼンテーション「A Reliable and Low Latency Ethernet Hardware Transport（高信頼性、低レイテンシのイーサネットハードウェアトランスポート）」にご参加ください。Google の Nandita Dukkipati が Expo Hall で午前 11:45 より行います。Falcon の仕様は、2024 年の第 1 四半期に OCP に提供される予定です。

Google の Open Compute Project への貢献と OCP Global Summit への参加について詳しくは、ブログ「How we’ll build sustainable, scalable, secure infrastructure for an AI-driven future（AI 主導の未来のために、サステナブルかつスケーラブルで安全なインフラストラクチャを構築する方法）」をご覧ください。

-Google Cloud、エンジニアリング担当バイス プレジデント Dan Lenoski

-Google Cloud、プリンシパル ソフトウェア エンジニア Nandita Dukkipati

Google の Cloud TPU v4 が業界をリードする効率性でエクサフロップス規模の ML を提供

Tue, 18 Apr 2023 09:30:00 +0000

※この投稿は米国時間 2023 年 4 月 6 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: 本日は、2 人の伝説的な Google エンジニアが、TPU v4 が ML モデルを大規模にトレーニングするためのプラットフォームとして世界をリードする AI の研究者や開発者に選ばれるに至った「独自のノウハウ」について説明します。Norm Jouppi は、TPU v1 から TPU v4 まで、すべての Google の TPU のチーフアーキテクトを務めています。Google Fellow であり、全米技術アカデミー（NAE）の会員でもあります。Google 上級エンジニアの David Patterson は、ACM A.M. チューリング賞および NAE チャールズスタークドレイパー賞を共同受賞しました。David は RISC と RAID の生みの親であり、近年はML による CO2e 排出量について研究しています。

コンピューティングパフォーマンスのスケーリングは、機械学習（ML）の最先端技術開発の基本です。相互接続技術とドメイン固有アクセラレータ（DSA）の重要なイノベーションのおかげで、Google Cloud TPU v4 が実現しました。

TPU v3 と比べ、ML システムのパフォーマンスのスケーリングが 10 倍近く向上
従来の ML の DSA と比較して、エネルギー効率が最大 2～3 倍向上
一般的なオンプレミスデータセンターの DSA と比較して、CO2e を最大 20 倍削減1

その結果、TPU v4 は、大規模言語モデルにとって理想的なパフォーマンス、スケーラビリティ、効率性、可用性を備えるプロダクトとなりました。

TPU v4 は、4,096 個のチップを Google 内で開発された業界最先端の光回路スイッチ（OCS）で相互接続し、エクサスケールの ML パフォーマンスを提供します。以下で、TPU v4 Pod の 8 分の 1 をご覧いただけます。Google の Cloud TPU v4 は、TPU v3 をチップあたりで平均 2.1 倍上回り、1 ワットあたりのパフォーマンスが 2.7 倍向上しています。通常、TPU v4 チップの平均消費電力はたったの 200W です。

Google で一般公開されている世界最大の ML クラスタ
である TPU v4 Pod の 8 分の 1 はオクラホマ州にあり、最大 90% がカーボンフリーエネルギーで稼働しています。

TPU v4 は、再構成可能な OCS をデプロイした最初のスーパーコンピュータです。OCS は、相互接続トポロジを動的に再構成し、スケール、可用性、利用率、モジュール性、デプロイ、セキュリティ、電力、パフォーマンスを向上させます。Infiniband よりもはるかに安価で消費電力量が低く、高速な OCS と基盤となる光コンポーネントは、TPU v4 のシステムにかかる費用の 5% 未満、システム消費電力の 5% 未満です。2 つの MEM 配列を使用した OCS の仕組みを以下の図に示します。光から電気、電気から光への変換や、電力を大量に消費するネットワークのパケットスイッチは必要なく、電力を節約できます。

高機能かつ効率的なプロセッサと分散共有メモリシステムの組み合わせは、ディープニューラルネットワークモデルに優れたスケーラビリティを実現します。さまざまなモデルタイプにおける TPU v4 の本番環境ワークロードのスケーラビリティを、以下に量対数スケールで示します。

動的 OCS の再構築機能も可用性に貢献します。回路の切り替えにより、障害コンポーネントを簡単に迂回できるため、ML トレーニングのような長期的なタスクでは、一度に数千個のプロセッサを数週間にわたって使用できます。この柔軟性により、スーパーコンピュータ相互接続のトポロジを変更して、ML モデルのパフォーマンスを加速させることも可能です。

パフォーマンス、スケーラビリティ、可用性により、TPU は、LaMDA、MUM、PaLM などの主力大規模言語モデルのスーパーコンピュータとして機能します。540B パラメータの PaLM モデルは、なんと 50 日間にわたりピーク時のハードウェア浮動小数点演算性能の 57.8% を維持しながら、TPU v4 スーパーコンピュータをトレーニングします。TPU v4 のスケーラブルな相互接続性は、多次元のモデルパーティショニング技術を生み出し、これらの LM の低レイテンシ、高スループットの推論を実現します。

また、TPU スーパーコンピュータは、広告、検索結果での掲載順位、YouTube、Google Play で使用されているディープラーニングのレコメンデーションモデル（DLRM）の主要コンポーネントであるエンベディングのハードウェアサポートを最初に提供しました。各 TPU v4 には、第 3 世代の SparseCores が搭載されています。SparseCores は、エンベディングに依存するモデルを 5～7 倍高速化しながらも、ダイ面積と消費電力をたったの 5% に抑えたデータフロープロセッサです。

CPU メモリにエンベディングが使用された CPU、TPU v3、TPU v4、TPU v4 の内部レコメンデーションモデルのパフォーマンス（SparseCore 未使用）は以下のとおりです。TPU v4 SparseCore は、レコメンデーションモデルで TPU v3 の 3 倍、CPU を使用したシステムで 5～30 倍の高速化を実現しています。

エンベディングの処理は、1 つのモデルで連携される TPU チップに分散しているため、大量の全対全通信が必要です。このパターンは、共有メモリ相互通信の帯域幅にストレスを与えます。そのため、TPU v4 は、（2 次元トーラスで使用される TPU v2 や v3 ではなく）3 次元トーラス相互接続を使用します。TPU v4 の 3 次元トーラスは、より高い二分割帯域幅（相互接続の中央を挟んでチップの半分からもう半分までの帯域幅）を提供し、より多くのチップ数と SparseCore v3 のより高いパフォーマンスに対応しています。下の図は、3 次元トーラスによる帯域幅とパフォーマンスの大幅な向上を示しています。

TPU v4 は 2020 年から Google で運用されており、Google Cloud のお客様には昨年から提供されるようになりました。リリース以来、TPU v4 スーパーコンピュータは、言語モデル、レコメンダーシステム、ジェネレーティブ AI など、最先端の ML 研究および本番環境ワークロードのために、世界中のトップクラスの AI チームが積極的に使用しています。たとえば、公共の利益となるような影響力の高い AI 研究を行うことを目的として Paul Allen が設立した非営利研究機関である Allen Institute for AI は、TPU v4 のアーキテクチャから多大な恩恵を受け、多くの大規模で影響力の高い研究イニシアチブを生み出すことができました。

「最近では、多くの研究者が、大量の処理ユニットに簡単に分散できる Cloud TPU に着目しています。GPU の場合、1 台のマシンを超えてスケーリングすると配布用のコードを調整する必要があり、サーバー間の接続速度に失望するかもしれません」と、Allen Institute for AI のエンジニアリング担当シニアディレクター Michael Schmitz 氏は言います。「しかし、Cloud TPU を使えば、個別のワークロードを数千のチップにシームレスにスケーリングでき、すべてのチップが高速メッシュネットワークで互いに直接接続されます。」

Midjourney は、業界をリードする text-to-image AI のスタートアップの一つです。同社は、Cloud TPU v4 を使用して偶然にも「バージョン 4」と呼ばれる最先端モデルをトレーニングしてきました。

「Google Cloud と連携し、Google のグローバルにスケーラブルなインフラストラクチャを活用して、創造性豊かなコミュニティにシームレスな体験を提供できることを誇りに思います」と Midjourney の創業者兼 CEO の David Holz 氏は言います。「最新の v4 TPU で JAX を使ってアルゴリズムのバージョン 4 をトレーニングすることから、GPU で推論を実行することまで、TPU v4 によってユーザーが素晴らしいアイデアを実現するスピードに感動しています。」

TPU v4 研究のその他の詳細を論文で共有できることを誇りに思います。この論文は、コンピュータアーキテクチャ国際シンポジウムで発表される予定です。そして、この研究結果についてコミュニティと議論できることを楽しみにしています。

^{著者一同は、TPU v4 を成功に導いた Google の多くのエンジニアリングチームとプロダクトチームに感謝します。また、このブログ投稿の執筆にご協力いただいた Amin Vahdat、Mark Lohmeyer、Maud Texier、James Bradbury、Max Sapozhnikov に感謝いたします。}

^{1. この最大で 20 倍の改善は、エネルギー効率が最大で 2～3 倍高い TPU、オンプレミスデータセンターに比べて PUE が最大で 1.4 倍低い Google データセンター、一般的なオンプレミスデータセンターの平均のエネルギークリーン度と比べてすべての Cloud TPU v4 スーパーコンピュータを収容するオクラホマ州のエネルギーが最大で 6 倍クリーンであることの組み合わせによるものです。}

- Google、Google Fellow Norm Jouppi

- Google Brain、Google 上級エンジニア David Patterson

Google Cloud への移行によって Google チップ設計チームにもたらされたメリット

Wed, 05 Apr 2023 01:00:00 +0000

※この投稿は米国時間 2023 年 3 月 29 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: どの企業にとってもクラウドへの移行は簡単ではありません。これは Google も例外ではありません。そのため、Google Cloud には Alphabet Cloud というチームがあります。このチームのミッションは、Google Cloud への移行を安全かつ円滑に行えるように Alphabet のあらゆるチームを支援することです。こうした内部顧客には、DeepMind、Vertex AI、Waze、そして今回取り上げる Google のチップ開発インフラストラクチャチームが含まれます。このチームの Google Cloud への移行は、オンプレミスインフラストラクチャの制限を取り除くことで、チームの可能性を解き放ち、開発者のイノベーション（この場合は、将来のクラウドインフラストラクチャを支える革新的なチップセット）を可能にする方法を示しています。

Google は、検索ツール、Google マップなどのソフトウェアサービス、Android でよく知られていますが、独自の専用ハードウェアも開発しています。Google は、ML スーパーコンピュータ、Google Pixel、ネットワークインフラストラクチャ、さらには YouTube 用のビデオアクセラレータに使用されるチップを自社で設計、製造しています。

Google Cloud に移行するまで

チップ開発インフラストラクチャチームはデータセンターのラック 1 架規模のコンピュータから始まりましたが、ワークロードがより複雑になるにつれて、すぐに数十架のラックと数百のサーバーにまで成長しました。プロジェクトが増え始めると、ハードウェアの費用が毎年倍増し、新しい取り組みのたびに新しいエンジニアとインフラストラクチャが必要になるなど、実装の課題も増えました。チームが単にレガシーマシンの管理と最適化のためにエンジニアを採用することを優先していたとき、彼らは成長とイノベーションという本来注力すべき点を見失っていることに気づきました。

Google Cloud に完全に移行する前に、チームは Google 社内のソフトウェア設計環境と、Google Cloud に送信された電子設計自動化（EDA）ワークロードを使用するハイブリッドソリューションを検討しました。このアプローチは短期的には信頼できるものでしたが、分析のためのワークロードの転送が遅れると、エンジニアは結果を待たざるを得ませんでした。2 台のデスクトップ（1 つは設計環境用、もう 1 つは Google Cloud での結果用）を同時に実行するという追加の負担も再考につながりました。

チップ開発インフラストラクチャチームは、このハイブリッドアプローチの課題を最小限に抑えられる、より優れたソリューションがあると考え、Alphabet Cloud チームに連絡を取りました。Alphabet Cloud チームは Google Cloud 内にあり、お客様のプラットフォームチームと同様に、Alphabet 内のチームが Google Cloud 独自のサービスの導入を加速して、開発とスケーリングを迅速に行えるように支援する責任を負っています。

Google Cloud の利用への移行

チップ開発インフラストラクチャチームは、Alphabet Cloud と協力して、Google Cloud への完全な移行に取り組みました。現在のインフラストラクチャを徹底的に評価した後、分析により、コンテナ用に Google Kubernetes Engine（GKE）、データ用に Cloud Storage、Filestore、Cloud Spanner、Big Query、Pub/Sub が最も有益な Google Cloud ツールであることが明らかになりました。

この Google Cloud への移行はビジネス上、大きなメリットをもたらしました。最初のメリットはクラウドの弾力性でした。具体的には、オンデマンドで拡張できることと、リソースを迅速かつ効率的にリクエストできることでした。新しい専用のコンピューティングインフラストラクチャをプロビジョニングするためのリードタイムは、6 か月からわずか数日に短縮されました。もう一つのメリットは運用費用の削減でした。これにより、はるかに大きなフットプリントを管理できるようになりました。Google Cloud を使用すると、インフラストラクチャのバグを数時間以内に特定して解決できました。また、データセンターのメンテナンスに費やす時間が減ったため、チームはイノベーションを加速できました。

リソース管理以外のメリットとして、チームは Google Cloud の AI と ML の機能を活用して、より効率的なチップを設計できました。Google Cloud ですぐに利用できるさまざまな ML アルゴリズムを活用して、大規模な検索空間を効率的にナビゲートし、チップ設計のさまざまな段階で独自の最適化を行いました。その結果、チップ設計プロセスや市場投入までの時間が短縮され、ML アクセラレータのプロダクト分野が拡大し、効率が向上しました。

チップ設計チームは、過去 2 世代の TPU や YouTube のビデオアクセラレーションプログラムである Argos VCU など、Google Cloud を使用して構築された完全な設計をリリースしました。物理的なデータセンターのサイズ制限がなくなったため、チップ設計者はより多くのジョブを実行してバグを取り除くことができました。Google Cloud に移行して以来、チームはスケジュール設定のレイテンシを一定に保ちながら、過去 1 年間で毎日のジョブ送信を 170% 増加させました。ワークロードは、複数の Google Cloud リージョンにまたがる 250 以上の GKE クラスタでサポートされています。このプラットフォームは、Google Cloud でジョブを実行するために必要な EDA ツールライセンスへのアクセスも仲介します。

データセンター内の TPU V2

未来を見据えて

Google Cloud の AI およびデータ機能により、チップ開発インフラストラクチャチームは、リソースの使用量を予測できるため、結果としてコンピューティングリソースの使用量を減らすことができます。Google Cloud で利用可能な大容量ストレージにより、すべてのメタデータにアクセスできるため、チップ設計チームはデータストレージタイプを最適化して、ジョブに対して最速のメディアを実現できます。チップの設計と開発の効率は、今後も向上し続けるでしょう。将来的に、チップ開発インフラストラクチャチームは、そのプロセスの一部、具体的には Bazel ビルドルールと回帰システムをオープンソース化する予定です。これにより、Google Cloud でチームが使用したアプローチから、他のチップメーカーもメリットを得ることができます。

他の企業が Google Cloud を使用してどのようにチップを設計しているかについては、まずこちらをご覧ください。

- プロダクトマーケティングマネージャー Lital Levy
- デベロッパーアドボケイト Bukola Ayodele

信頼性の高いピアリングで Google Cloud にアクセス

システム設計の新時代に向けてオープンなイノベーションを発表

Tue, 25 Oct 2022 00:00:00 +0000

※この投稿は米国時間 2022 年 10 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。

現在はシステム設計の転換期です。コンピューティングの需要は、とどまることのない速さで増大しています。同時に、ムーアの法則は鈍化しています。つまり、CPU のパフォーマンス、電力消費、メモリとストレージのコスト効率の向上はすべて限界に達しつつあります。このような逆風は、信頼性の新たな課題や、セキュリティによってさらに強くなっています。

Google は、スタック全体にわたるシステム設計のイノベーションによって、このような課題や機会に対応しました。このイノベーションは、新しいカスタムシリコンのアクセラレータ（TPU、VCU、IPU など）から、新しいハードウェアとデータセンターインフラストラクチャ、新しい分散システムとクラウドソリューションにまで及びますが、これはあくまで最初の段階に過ぎません。いわゆる「データセンター税」を最小限に抑えるコアデータセンター機能用の密結合アクセラレータなど、進歩の機会はまだ多くあります。サーバーとデータセンターのインフラストラクチャが、従来のような数十年前の設計とは異なり、モジュール型で、異種の、分散された、ソフトウェア定義のものになるのに伴い、分散システムも新たな時代に突入しています。このような分散システムは、「キラーマイクロ秒」に対応する最適化と、低レイテンシやアクセラレータを考慮して最適化された斬新なプログラミングモデルを特徴としています。

Google は、このような新しい機会や課題には、業界全体で一丸となって対応することが最善であると考えています。本日、Open Compute Project（OCP）Global Summitで、Google はオープンなハードウェアエコシステムをサポートすることを示し、40 以上の講演でプレゼンテーションを行い、いくつかの重要な貢献を発表します。

サーバー設計: 未来の「複数ブレーン」サーバーに関する Google のビジョンを共有します。これは、従来のサーバー設計を、ホストコンピューティング、アクセラレータ、メモリ拡張トレイ、インフラストラクチャプロセッシングユニットなどの全体にわたる、モジュール型の分散システムへと変革するものです。これを実現するために必要となるさまざまなイノベーションで、Google が行っている作業を、すべての OCP パートナーと共同で行います。具体的には、DC-MHS によるモジュール型ハードウェア、OpenBMC および RedFish による管理の標準化、ルートオブトラストの標準化、インターフェース（CXL、NVMe を含む）の標準化などです。

信頼できるコンピューティング: ルートオブトラストは、未来のシステムに不可欠な部分です。Google は現在に至るまで、コンシューマデバイスにおける個別のセキュリティソリューション OpenTitan など、透明性の高い、最高水準のセキュリティの実現に貢献してきました。Google は、機密性の高いコンピューティングや、パッケージまたはシステムオンチップ（SoC）のレベルでチップレベルの証明書が必要となるさまざまな用途での未来のイノベーションを見据えています。他の業界リーダーの AMD、Microsoft、NVIDIA とともに、Google は Caliptra（ルートオブトラスト測定用の再利用可能な IP ブロック）を OCP に提供します。数か月以内に、コミュニティが一体となって連携するための初期コードをリリースする予定です。
信頼性の高いコンピューティング: 信頼性の課題に大規模に対処するために、AMD、ARM、Intel、Meta、Microsoft、NVIDIA と共同で、サーバーコンポーネントの復元力の新しいワークストリームを OCP で形成しました。このワークストリームを通じて、業界全体が追跡できる、データのサイレントエラーや破損に関する一貫した指標を作成する予定です。また、テスト実行フレームワークおよびスイートを提供し、障害のあるデバイスが存在するテスト環境へのアクセスを提供することも予定しています。これにより、業界と学界にわたる幅広いコミュニティが、シリコンの障害やデータのサイレントエラーに対処するための体系的アプローチを取れるようになります。
サステナビリティ: 最後に、Google は、エコシステム全体にわたる基本理念として環境のサステナビリティをサポートする新しいイニシアチブを OCP 内でサポートすることを発表します。Google は何年もの間、環境のサステナビリティのリーダーであり続けています。2007 年以降はカーボンニュートラルを達成しており、2017 年以降は 100% 再生可能エネルギーで電力を賄っています。さらに、2030 年までに Google のすべてのオペレーションとバリューチェーンでネットゼロエミッションを達成するという大きな目標も持っています。その一方で、業界随一のクリーンなクラウドとして、お客様が二酸化炭素排出量を追跡して削減し、エネルギーの大きな節約を達成できるよう支援しています。このようなベストプラクティスを OCP と共有し、幅広いコミュニティと連携して、この重要な分野におけるサステナビリティの測定と最適化を標準化していきます。

業界団体はシステム統合（コンピューティング、メモリ、ストレージ、管理、電力、冷却など）に注力しているため、OCP Foundation は、私たちが必要とする業界全体の共同設計を促進できる独自の立場にあります。Google は OCP で積極的な役割を果たし、リーダーシップを発揮して、新しいイニシアチブを生み出し、多くの貢献をサポートしています。

上述の発表は、標準に基づくオープンなエコシステムを育んできた Google の取り組みの最新の例です。オープンなエコシステムにより、製品化までの時間を短縮するアジリティを確保し、イノベーションに戦略的に取り組む機会を得るとともに、多様なプロダクトマーケットプレイスを実現することができます。オープンソースにおける Google のリーダーシップは、業界での標準化と導入の促進、多岐にわたる力強いコミュニティの貢献によるエコシステムの成長のほか、幅広いポリシーの適用、組織的なリーダーシップの発揮やベストプラクティスの共有など、多次元に及んでいます。

本日発表する 4 つのイニシアチブと、OCP Summit での Google 主導の講演から、今後のシステムの素晴らしい新時代を垣間見ることができます。幅広い OCP コミュニティやその他の業界組織と連携して、活気あるオープンなハードウェアエコシステムを構築し、この分野でさらに多くのイノベーションをサポートすることを楽しみにしております。このエキサイティングな取り組みにぜひご参加ください。

- Google、バイスプレジデント（テクニカルフェロー）Parthasarathy Ranganathan

システム

AI インフラストラクチャの効率: Ironwood TPU で炭素効率が 3.7 倍向上

AI アクセラレータの効率を測定: コンピューティング二酸化炭素排出原単位（CCI）

Ironwood のメリット: 高パフォーマンス、低フットプリント

Google の TPU フリートの運用効率がさらに向上

エネルギーと排出量をパフォーマンスから切り離す

Google Cloud でサステナブルにスケーリング

Firefly: データセンターでナノ秒レベルのクロック同期を実現するソリューション

ナノ秒単位の競争: 正確なタイミングが重要である理由

Firefly: ソフトウェアと理論の橋渡し

実環境でのパフォーマンス

未来の可能性の基盤

Google の未来であるマルチアーキテクチャに向けて AI と自動化がその実現を支援

Google のすべてのサービスをマルチアーキテクチャに移行

AI を使用した ISA 移行の自動化

CogniPort のテスト

マルチアーキテクチャの未来

機敏性のある AI アーキテクチャ: インテリジェントな時代の代替可能なデータセンター

優れた AI には優れたコンピューティングが必要

優れたコンピューティングには優れた電力（冷却とシステム）が必要

CTA: コミュニティ主導のイノベーションと AI のための AI

熱を帯びる AI インフラストラクチャに効果的な新しい電力分配と液体冷却のインフラストラクチャ

IT ラックあたり 1 MW で電力供給を変革

液体冷却の必要性

次世代の AI に備える

電力のバランス: ML インフラストラクチャの電力量と温度の変動に対処するためのフルスタック アプローチ

新しい ML ワークロードにより生じる ML の新たな電力問題

事前の電力形成に対するフルスタック アプローチ

行動喚起

-テクニカル リード マネージャー、Houle Gan-VP / エンジニアリング フェロー、Parthasarathy Ranganathan

スピード、スケール、信頼性: Google データセンター ネットワーキングの 25 年間の進化

指針となった原則

2015 年 - Jupiter、最初のペタビット ネットワーク

2022 年 - 6 Pb/秒の実現

2023 年 - 13 Pb/秒のネットワーク

2024 年以降 - AI 時代のエクストリーム ネットワーキング

その他のリソース

インテリジェント クラウドに持続可能なシリコンを: コンピューティングの未来に向けたコラボレーション

小さな始まりから社会インフラへ

分野をまたいだ共同設計: イノベーションの中心

業界の枠を超えたコラボレーション: アイデアを成果に

新たなインテリジェンス革命に向けたイノベーション

-バイス プレジデント兼テクニカル フェロー Parthasarathy Ranganathan-Google、プリンシパル エンジニア Amber Huffman

システム研究を推進: 合成された Google ストレージの I/O トレースがコミュニティで利用可能に

I/O トレースとは何か、なぜ重要なのか

Thesios の紹介: I/O トレースを合成するための手法

これらのトレースをオープンソース化する理由

-Google DeepMind、スタッフ リサーチ サイエンティスト Phitchaya Mangpo Phothilimthana-Google、シニア リサーチ サイエンティスト Saurabh Kadekodi

第 6 世代の Google Cloud TPU「Trillium」の発表

Trillium で AI のイノベーションが次のフェーズへ

Trillium でチップあたりのコンピューティング パフォーマンスが 4.7 倍に向上

ICI や高帯域幅メモリ（HBM）の容量と帯域幅が 2 倍に

Trillium が次世代の AI モデルの原動力に

Trillium と AI ハイパーコンピュータ

Google Cloud Trillium TPU の詳細

Caliptra: チップ一つひとつに信頼を組み込む

Caliptra 1.0 について

OCP S.A.F.E.

今後の展望

Google Cloud の AI ハイパーコンピューター アーキテクチャの新機能

パフォーマンスが最適化されたハードウェアの進歩

オープン ソフトウェアの進歩

Google Distributed Cloud で、場所を選ばない AI を実現

Google AI インフラストラクチャで加速

ML で加速する分散型コンピューティングの第 5 エポックにおける成長

次世代の AI ワークロードを実現: TPU v5p と AI ハイパーコンピュータを発表

最も強力かつスケーラブルな TPU アクセラレータ、Cloud TPU v5p

Google AI ハイパーコンピュータ、大規模で最高の性能と効率を実現

Google の知見を AI の未来に活用

AI 主導の未来のために、サステナブルかつスケーラブルで安全なインフラストラクチャを構築する方法

サステナブルなシステムに向けて

システム スタック全体のセキュリティの強化

シリコンからクラウドまでのスケーラビリティ

Google、高信頼性・低レイテンシのハードウェア トランスポートの Falcon をエコシステムに公開

業界からの声

その他のリソース

Google の Cloud TPU v4 が業界をリードする効率性でエクサフロップス規模の ML を提供

Google Cloud への移行によって Google チップ設計チームにもたらされたメリット

Google Cloud に移行するまで

Google Cloud の利用への移行

電力のバランス: ML インフラストラクチャの電力量と温度の変動に対処するためのフルスタックアプローチ

事前の電力形成に対するフルスタックアプローチ

-テクニカルリードマネージャー、Houle Gan
-VP / エンジニアリングフェロー、Parthasarathy Ranganathan

スピード、スケール、信頼性: Google データセンターネットワーキングの 25 年間の進化

2015 年 - Jupiter、最初のペタビットネットワーク

2024 年以降 - AI 時代のエクストリームネットワーキング

インテリジェントクラウドに持続可能なシリコンを: コンピューティングの未来に向けたコラボレーション

-バイスプレジデント兼テクニカルフェロー Parthasarathy Ranganathan
-Google、プリンシパルエンジニア Amber Huffman

-Google DeepMind、スタッフリサーチサイエンティスト Phitchaya Mangpo Phothilimthana
-Google、シニアリサーチサイエンティスト Saurabh Kadekodi

Trillium でチップあたりのコンピューティングパフォーマンスが 4.7 倍に向上

Google Cloud の AI ハイパーコンピューターアーキテクチャの新機能

オープンソフトウェアの進歩

システムスタック全体のセキュリティの強化

Google、高信頼性・低レイテンシのハードウェアトランスポートの Falcon をエコシステムに公開