TPU Sync, una libreria open source in C++, consente di spostare le cache KV e i pesi dei modelli sulle Cloud TPU, i processori di Google specializzati nel calcolo di IA. Secondo Google, la latenza di trasferimento delle cache KV viene ridotta di oltre il 90% su modelli a miscela di esperti (MoE) da 235 a 480 miliardi di parametri.
La libreria considera la memoria HBM delle TPU, la memoria DRAM dell’host, lo storage condiviso e la rete del data center come un’unica gerarchia di memoria. Risponde, secondo l’articolo, a un collo di bottiglia crescente: lo spostamento dello stato dei modelli, piuttosto che il loro calcolo. Il suo nucleo è scritto in C++, con pacchetti Python per PyTorch e JAX, e il suo repository è pubblicato sotto licenza Apache-2.0.
TPU Sync serve per due utilizzi: la cache KV durante l’inferenza, e la diffusione dei pesi tra l’addestratore e il campionatore nell’apprendimento per rinforzo (RL). Funziona sulle Cloud TPU v7x (Ironwood) e v6e, secondo il README del repository. I benchmark sono stati condotti su TPU v7x in configurazione 2x2x1, con PCIe Gen5 e schede di rete da 200 Gbps.
Un trasferimento diretto tra le memorie
La libreria legge i buffer JAX PJRT o i tensori PyTorch in loco, tramite accesso diretto alla memoria (DMA), senza serializzazione Python né buffer intermedi. I trasferimenti possono svolgersi durante il calcolo, e una schedulazione integrata evita che copie di grandi dimensioni ritardino il lancio dei kernel di calcolo. Google indica una velocità che può raggiungere 223 GB/s per host Ironwood, contro un limite di 256 GB/s per PCIe Gen5. Sulla rete del data center (DCN), la velocità raggiunge circa 192 Gbps con una scheda di rete, e circa 350 Gbps con due.
In un servizio cosiddetto « disaggregato » di pre-riempimento e decodifica (P/D), il nodo di pre-riempimento scarica i blocchi KV verso la RAM dell’host. Un controller li instrada poi verso il nodo di decodifica, dove arrivano nella memoria HBM mentre la decodifica prosegue.
Risultati provenienti da test interni
Google ha condotto i suoi test interni a luglio 2026, con tpu-inference v0.24.0, JAX 0.10.2 e libtpu 0.0.42.1, precisando che i risultati reali varieranno. Per il servizio P/D, la latenza mediana di trasferimento KV di Qwen3 235B è passata da diversi secondi a circa 230 ms. Il TTFT (il ritardo prima del primo token generato) medio è diminuito del 60% per il 235B e del 90% per il 480B a bassa concorrenza, mentre il throughput di output dei token è aumentato dal 30% al 70% per il 235B durante i picchi di traffico.
Per la memorizzazione nella cache dei prefissi, la capacità effettiva della cache è aumentata di un ordine di grandezza quando i pesi MoE occupano la maggior parte della HBM. Il TTFT medio è diminuito fino al 90% su carichi di lavoro con contesto di 64K, il throughput è aumentato di oltre il 50% e la latenza inter-token P99 è diminuita del 30%.
Integrazioni e limiti
Con PyTorch, la libreria passa attraverso TorchTPU, e con JAX in modo nativo. In vLLM-TorchTPU, costituisce il connettore KV TPU dietro l’interfaccia KVConnector di vLLM. In SGLang-TorchTPU, serve come backend di trasferimento P/D e di input-output della cache gerarchica. Su GKE, llm-d 1.0 la utilizza per un routing basato sull’affinità della cache dei prefissi. Inferact e RadixArk hanno co-progettato le integrazioni vLLM e SGLang, e Google indica che Meta e Wayfair stanno valutando l’architettura.
Google non pubblica cifre per l’apprendimento per rinforzo, e il README indica che la libreria non è ancora raccomandata per un uso generale. Le funzioni RL e lo storage a più livelli rimangono sperimentali, e l’insieme delle cifre è auto-dichiarato. L’articolo confronta anche TPU Sync con NVIDIA Dynamo KVBM + NIXL, LMCache e Mooncake, notando che le loro cifre di banda non misurano gli stessi percorsi: quello di TPU Sync corrisponde al DMA PCIe dell’host, quello di Mooncake a un trasferimento di rete su RoCE.
