Google、AI推論用途を拡大するためTPUを刷新

TPU 8tはBroadcomのチップ部門によって製造されており、すでにGoogleのデータセンターに導入される予定だ。TPU 8iはMediaTekと共同設計されたが、今年前半に遅延が発生しており、すでにGoogleに納品されているかは不確かである。改良版は2027年に導入される見込みだ。分析レポートの著者によれば、2027年第1四半期でのローンチが想定され、その後約1年半かけて規模を拡大していくとされる。このようなタイムラインは一般的で、Ironwood TPU（v7p）は2025年第4四半期に社内で導入されたが、余剰キャパシティが十分になった約1年後にようやくGoogle Cloudでのレンタル提供が開始された。現在、米国セントラル1（アイオワ）および欧州ウエスト2（ロンドン）リージョンでの価格が公開されている。

学習用途のTPU 8t

TPU 8tは学習ワークロード向けに設計されている。その3Dトーラス相互接続により、最大9,600個のアクセラレータが共有の一貫性メモリ空間で結ばれ、FP4精度で121エクサフロップスの性能を発揮すると発表されている。GoogleのAI・コンピュートインフラストラクチャ担当バイスプレジデント兼ゼネラルマネージャー、マーク・ローマイヤー氏は電話会議で、これらのマシンは9,600ユニットのポッドにまとめられ、さらに100万個以上のTPU 8tデバイスからなるクラスターを構成すると説明した。このクラスターは、DeepMind部門が開発し10月28日に発表されたGemini 4 Carbonの学習に使用されたとされる。

Google Cloud経由のAPIアクセスでは、Gemini 4 CarbonとGemini 4 Argonの両方について、入力トークン100万個あたり2ドル、出力トークン100万個あたり10ドルの「導入価格」が設定されている。キャッシュされた入力トークンは、入力トークン価格から95%割引された料金で課金される。

推論用途のTPU 8txとTPU 8i Max

TPU 8txは、学習済みモデルの実行である推論を主眼に置いたTPU 8tの派生版で、アイドル時には学習にも利用可能だ。Googleは3Dトーラスを、同社が独自に設計したドラゴンフライトポロジーの派生版であるboardfly相互接続に置き換えた。これにより、ポッドあたりのアクセラレータ数は9,600個から1,152個に減少した。公開された分析によれば、このシステムの平均レイテンシーは3Dトーラストポロジーと比べて約2倍低いとされる。また、ArmアーキテクチャのサーバーCPU Axionも、未指定のモデルのAMD Epycプロセッサに置き換えられた。この選択は、これらのプロセッサに統合された暗号化およびトラステッドルートアクセラレータにより、データを処理直前まで暗号化状態で保持できる点によるものだ。

一方、TPU 8i Maxは、長いコンテキストを扱うワークロードを対象としている。ソケットあたりのZebrafishコンプレックス数を倍増させているが、ソケットあたりのHBMメモリ容量はオリジナルのTPU 8i比で33%の増加に留まる。オリジナルのTPU 8iはチップあたり288GBのメモリを搭載していたが、TPU 8i Maxはチップあたり192GBで、帯域幅は8.6TB/sで変わらない。この構成により、メモリがより多くのチップに分散され、それらが結合されてより大きな共有メモリを形成する。

メモリ管理機能「TPU Sync」

Googleはまた、TPUの上位で動作する階層型メモリ管理ソフトウェア層「TPU Sync」も開発した。「これは、TPUが多くの時間、アイドル状態にあることを意味します」とマーク・ローマイヤー氏は説明する。「これらのリソースが使用されていない時にも確保したままにしておくと、特にこれらのエージェント型ワークロードが本格的に増加し始めている現在、膨大な非効率性を生み出すことになります」。同氏によれば、TPU Syncは、エージェントが一時停止する際に作業メモリをチップ外に移動し、処理再開時に復元する。これはソフトウェアであるため、Googleは過去の世代にも適用可能で、同社はTPU 5、6、7、8に対してこれを実施した。分析レポートでは、TPU Syncによる推論スループット向上の効果は数値化されていないと指摘されている。