GoogleがTPU Syncを発表:TPU向けKVキャッシュ転送のオープンソース化

GoogleがTPU Syncを発表:TPU向けKVキャッシュ転送のオープンソース化
1 分の読書

TPU Syncは、C++で書かれたオープンソースライブラリで、KVキャッシュとモデル重みをGoogleのAI計算専用プロセッサであるCloud TPU間で移動できる。Googleによると、2350億から4800億パラメータの混合専門家(MoE)モデルにおいて、KVキャッシュ転送のレイテンシが90%以上削減されたという。

このライブラリは、TPUのHBMメモリ、ホストのDRAM、共有ストレージ、データセンター・ネットワークを単一のメモリ階層として扱う。記事によれば、モデルの計算ではなく状態の移動という、増大するボトルネックに対応するものだ。コアはC++で書かれており、PyTorchとJAX用のPythonパッケージが用意され、Apache-2.0ライセンスでリポジトリが公開されている。

TPU Syncは2つの用途に使用される:推論中のKVキャッシュ、および強化学習(RL)におけるトレーナーとサンプラー間の重み分散だ。リポジトリのREADMEによれば、Cloud TPU v7x(Ironwood)とv6eで動作する。ベンチマークは、PCIe Gen5と200Gbpsネットワークカードを搭載した2x2x1構成のTPU v7xで実施された。

メモリ間の直接転送

ライブラリは、Pythonシリアライゼーションや中間バッファなしに、ダイレクトメモリアクセス(DMA)によりJAX PJRTバッファまたはPyTorchテンソルをその場で読み取る。転送は計算中に行うことができ、組み込みのスケジューリングにより、大規模なコピーが計算カーネルの起動を遅らせるのを防ぐ。Googleは、Ironwoodホストあたり最大223 GB/sのスループットを報告しており、PCIe Gen5の上限256 GB/sに近い。データセンター・ネットワーク(DCN)では、1枚のネットワークカードで約192 Gbps、2枚で約350 Gbpsのスループットを達成した。

「分離型」プリフィル/デコード(P/D)サービスでは、プリフィルノードがKVブロックをホストのRAMにオフロードする。コントローラーがそれらをデコードノードに転送し、デコードが進行中にHBMメモリに到着する。

内部テストによる結果

Googleは2026年7月に内部テストを実施し、tpu-inference v0.24.0、JAX 0.10.2、libtpu 0.0.42.1を使用した。実際の結果は変動すると注記している。P/Dサービスでは、Qwen3 235BのKV転送中央レイテンシが数秒から約230 msに短縮された。平均TTFT(最初のトークン生成までの時間)は、低負荷時において235Bで60%、480Bで90%低下し、トークン出力スループットは、235Bのトラフィックピーク時に30%から70%向上した。

プリフィックスキャッシングでは、MoE重みがHBMの大部分を占める場合、キャッシュの実効容量が桁違いに増加した。64Kコンテキストのワークロードでは、平均TTFTが最大90%低下、スループットが50%以上向上、P99トークン間レイテンシが30%減少した。

統合と制限事項

PyTorchではTorchTPUを経由し、JAXではネイティブに動作する。vLLM-TorchTPUでは、vLLMのKVConnectorインターフェース背後にあるTPU KVコネクタとして機能する。SGLang-TorchTPUでは、P/D転送と階層キャッシュI/Oのバックエンドとして使用される。GKE上では、llm-d 1.0がプリフィックスキャッシュアフィニティベースのルーティングに使用する。InferactとRadixArkがvLLMおよびSGLang統合を共同設計し、GoogleはMetaとWayfairがこのアーキテクチャを評価中であると述べている。

Googleは強化学習に関する数値を公開しておらず、READMEではこのライブラリはまだ一般的な使用には推奨されないとしている。RL機能とマルチティアストレージは実験的段階であり、すべての数値は自己申告による。記事ではまた、TPU SyncをNVIDIA Dynamo KVBM + NIXL、LMCache、Mooncakeと比較し、それらの帯域幅数値は同じ経路を測定したものではないと指摘している:TPU Syncの数値はホストPCIe DMAに対応し、Mooncakeの数値はRoCE上のネットワーク転送に対応する。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x