Google startet TPU Sync : Open-Source-KV-Cache-Transfer für TPUs

Google startet TPU Sync : Open-Source-KV-Cache-Transfer für TPUs
3 Minuten Lesezeit

TPU Sync, eine Open-Source-Bibliothek in C++, ermöglicht es, KV-Caches und Modellgewichte auf Cloud TPUs, Googles für KI-Berechnungen spezialisierten Prozessoren, zu verschieben. Laut Google wird die Transferlatenz für KV-Caches bei Mixture-of-Experts-Modellen (MoE) mit 235 bis 480 Milliarden Parametern um über 90 % reduziert.

Die Bibliothek behandelt den HBM-Speicher der TPUs, den DRAM-Speicher des Hosts, den Shared Storage und das Netzwerk des Rechenzentrums als eine einzige Speicherhierarchie. Sie behebt laut Artikel einen wachsenden Engpass: das Verschieben des Modellzustands, nicht dessen Berechnung. Ihr Kern ist in C++ geschrieben, mit Python-Paketen für PyTorch und JAX, und ihr Repository ist unter der Apache-2.0-Lizenz veröffentlicht.

TPU Sync dient zwei Zwecken: dem KV-Cache während der Inferenz und der Gewichtsverteilung zwischen Trainer und Sampler beim Reinforcement Learning (RL). Es funktioniert laut README des Repositories auf Cloud TPU v7x (Ironwood) und v6e. Die Benchmarks wurden auf TPU v7x in einer 2x2x1-Konfiguration mit PCIe Gen5 und 200-Gbps-Netzwerkkarten durchgeführt.

Ein direkter Transfer zwischen den Speichern

Die Bibliothek liest JAX PJRT-Puffer oder PyTorch-Tensoren direkt über Direct Memory Access (DMA), ohne Python-Serialisierung oder Zwischenpuffer. Transfers können während der Berechnung stattfinden, und eine integrierte Planung verhindert, dass große Kopien den Start von Rechenkernen verzögern. Google gibt einen Durchsatz von bis zu 223 GB/s pro Ironwood-Host an, gegenüber einer Obergrenze von 256 GB/s für PCIe Gen5. Im Rechenzentrumsnetzwerk (DCN) erreicht der Durchsatz etwa 192 Gbps mit einer Netzwerkkarte und etwa 350 Gbps mit zwei.

In einem sogenannten « disaggregierten » Prefill/Decode-Dienst (P/D) entlädt der Prefill-Knoten KV-Blöcke in den Host-RAM. Ein Controller leitet sie dann zum Decode-Knoten weiter, wo sie während des laufenden Decodierens im HBM-Speicher ankommen.

Ergebnisse aus internen Tests

Google führte seine internen Tests im Juli 2026 mit tpu-inference v0.24.0, JAX 0.10.2 und libtpu 0.0.42.1 durch und wies darauf hin, dass die tatsächlichen Ergebnisse variieren werden. Für den P/D-Dienst sank die mediane KV-Transferlatenz für Qwen3 235B von mehreren Sekunden auf etwa 230 ms. Die durchschnittliche TTFT (Time To First Token) sank um 60 % für das 235B-Modell und um 90 % für das 480B-Modell bei geringer Auslastung, während der Token-Ausgabedurchsatz für das 235B-Modell während Traffic-Spitzen um 30 % bis 70 % stieg.

Für das Prefix-Caching stieg die effektive Cache-Kapazität um eine Größenordnung, wenn MoE-Gewichte den Großteil des HBM-Speichers belegen. Die durchschnittliche TTFT sank bei Workloads mit 64K-Kontext um bis zu 90 %, der Durchsatz stieg um über 50 % und die P99-Inter-Token-Latenz sank um 30 %.

Integrationen und Grenzen

Mit PyTorch erfolgt die Integration über TorchTPU, mit JAX nativ. In vLLM-TorchTPU bildet sie den TPU-KV-Connector hinter der vLLM-KVConnector-Schnittstelle. In SGLang-TorchTPU dient sie als Backend für P/D-Transfer und hierarchische Cache-E/A. Auf GKE nutzt llm-d 1.0 sie für ein Routing basierend auf Prefix-Cache-Affinität. Inferact und RadixArk haben die vLLM- und SGLang-Integrationen mitentwickelt, und Google gibt an, dass Meta und Wayfair die Architektur evaluieren.

Google veröffentlicht keine Zahlen für Reinforcement Learning, und das README besagt, dass die Bibliothek noch nicht für den allgemeinen Gebrauch empfohlen wird. Die RL-Funktionen und der mehrstufige Speicher sind experimentell, und alle Zahlen sind selbst deklariert. Der Artikel vergleicht TPU Sync auch mit NVIDIA Dynamo KVBM + NIXL, LMCache und Mooncake und stellt fest, dass deren Bandbreitenangaben nicht die gleichen Pfade messen: die von TPU Sync entspricht dem Host-PCIe-DMA, die von Mooncake einem Netzwerktransfer über RoCE.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x