Google lanceert TPU Sync : een open-source KV-cacheoverdracht voor TPU’s

Google lanceert TPU Sync : een open-source KV-cacheoverdracht voor TPU’s
3 min lezen

TPU Sync, een open-source C++-bibliotheek, maakt het mogelijk KV-caches en modelgewichten te verplaatsen op Cloud TPU’s, de door Google gespecialiseerde AI-verwerkingschips. Volgens Google wordt de overdrachtslatentie van KV-caches hiermee met meer dan 90% verminderd bij modellen met een mixture of experts (MoE) van 235 tot 480 miljard parameters.

De bibliotheek behandelt het HBM-geheugen van de TPU’s, het DRAM-geheugen van de host, gedeelde opslag en het datacenternetwerk als één enkele geheugenhiërarchie. Ze beantwoordt, volgens het artikel, aan een groeiend knelpunt: het verplaatsen van de modeltoestand, in plaats van de berekening ervan. De kern is geschreven in C++, met Python-pakketten voor PyTorch en JAX, en de repository is gepubliceerd onder de Apache-2.0-licentie.

TPU Sync dient voor twee toepassingen: de KV-cache tijdens inferentie, en de verspreiding van gewichten tussen de trainer en de sampler bij reinforcement learning (RL). Het werkt op Cloud TPU v7x (Ironwood) en v6e, volgens de README van de repository. De benchmarks werden uitgevoerd op TPU v7x in een 2x2x1-configuratie, met PCIe Gen5 en 200 Gbps-netwerkkaarten.

Een directe overdracht tussen de geheugens

De bibliotheek leest JAX PJRT-buffers of PyTorch-tensoren ter plaatse, via direct memory access (DMA), zonder Python-serialisatie of tussenbuffer. Overdrachten kunnen plaatsvinden tijdens de berekening, en een ingebouwd scheduleringsmechanisme voorkomt dat grote kopieën de start van rekenkernen vertragen. Google meldt een doorvoersnelheid tot 223 GB/s per Ironwood-host, tegen een maximum van 256 GB/s voor PCIe Gen5. Over het datacenternetwerk (DCN) bereikt de doorvoer ongeveer 192 Gbps met één netwerkkaart, en ongeveer 350 Gbps met twee.

In een zogenaamde ‘gedisaggregeerde’ prefilling- en decodingservice (P/D) ontlaadt de prefilling-node de KV-blokken naar het RAM-geheugen van de host. Een controller stuurt ze vervolgens door naar de decoding-node, waar ze aankomen in het HBM-geheugen terwijl het decoderen doorgaat.

Resultaten uit interne tests

Google voerde zijn interne tests uit in juli 2026, met tpu-inference v0.24.0, JAX 0.10.2 en libtpu 0.0.42.1, waarbij werd opgemerkt dat de werkelijke resultaten zullen variëren. Voor de P/D-service daalde de mediane KV-overdrachtslatentie van Qwen3 235B van enkele seconden naar ongeveer 230 ms. De gemiddelde TTFT (de tijd tot de eerste gegenereerde token) nam af met 60% voor het 235B-model en met 90% voor het 480B-model bij lage concurrentie, terwijl de uitvoer-doorvoer van tokens met 30% tot 70% steeg voor het 235B-model tijdens verkeerspieken.

Voor prefix caching nam de effectieve cachecapaciteit met een orde van grootte toe wanneer de MoE-gewichten het grootste deel van het HBM-geheugen in beslag nemen. De gemiddelde TTFT daalde tot 90% bij workloads met een context van 64K, de doorvoer steeg met meer dan 50%, en de P99 inter-token latentie nam met 30% af.

Integraties en beperkingen

Met PyTorch verloopt de bibliotheek via TorchTPU, en met JAX op native wijze. In vLLM-TorchTPU vormt het de TPU KV-connector achter de KVConnector-interface van vLLM. In SGLang-TorchTPU dient het als backend voor P/D-overdracht en hiërarchische cache-I/O. Op GKE gebruikt llm-d 1.0 het voor routing op basis van prefix-cache-affiniteit. Inferact en RadixArk hebben de vLLM- en SGLang-integraties mede-ontworpen, en Google meldt dat Meta en Wayfair de architectuur evalueren.

Google publiceert geen cijfers voor reinforcement learning, en de README vermeldt dat de bibliotheek nog niet wordt aanbevolen voor algemeen gebruik. De RL-functies en de multi-tier opslag zijn nog experimenteel, en alle cijfers zijn zelfgerapporteerd. Het artikel vergelijkt TPU Sync ook met NVIDIA Dynamo KVBM + NIXL, LMCache en Mooncake, en merkt op dat hun bandbreedtecijfers niet dezelfde paden meten: die van TPU Sync komt overeen met de PCIe DMA van de host, die van Mooncake met een netwerkoverdracht over RoCE.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x