Google lance TPU Sync : un transfert open source de cache KV pour les TPU

Google lance TPU Sync : un transfert open source de cache KV pour les TPU
4 min de lecture

TPU Sync, une bibliothèque open source en C++, permet de déplacer les caches KV et les poids des modèles sur les Cloud TPU, les processeurs de Google spécialisés dans le calcul d’IA. Selon Google, la latence de transfert des caches KV y est réduite de plus de 90 % sur des modèles à mélange d’experts (MoE) de 235 à 480 milliards de paramètres.

La bibliothèque considère la mémoire HBM des TPU, la mémoire DRAM de l’hôte, le stockage partagé et le réseau du centre de données comme une seule hiérarchie mémoire. Elle répond, selon l’article, à un goulot d’étranglement croissant : le déplacement de l’état des modèles, plutôt que leur calcul. Son cœur est écrit en C++, avec des paquets Python pour PyTorch et JAX, et son dépôt est publié sous licence Apache-2.0.

TPU Sync sert à deux usages : le cache KV pendant l’inférence, et la diffusion des poids entre l’entraîneur et l’échantillonneur dans l’apprentissage par renforcement (RL). Il fonctionne sur les Cloud TPU v7x (Ironwood) et v6e, d’après le README du dépôt. Les benchmarks ont été menés sur des TPU v7x en configuration 2x2x1, avec PCIe Gen5 et des cartes réseau de 200 Gbps.

Un transfert direct entre les mémoires

La bibliothèque lit les buffers JAX PJRT ou les tenseurs PyTorch en place, par accès direct à la mémoire (DMA), sans sérialisation Python ni tampon intermédiaire. Les transferts peuvent se dérouler pendant le calcul, et un cadencement intégré évite que de grosses copies retardent le lancement des noyaux de calcul. Google indique un débit pouvant atteindre 223 GB/s par hôte Ironwood, contre un plafond de 256 GB/s pour PCIe Gen5. Sur le réseau du centre de données (DCN), le débit atteint environ 192 Gbps avec une carte réseau, et environ 350 Gbps avec deux.

Dans un service dit « désagrégé » de préremplissage et de décodage (P/D), le nœud de préremplissage décharge les blocs KV vers la RAM de l’hôte. Un contrôleur les achemine ensuite vers le nœud de décodage, où ils arrivent dans la mémoire HBM pendant que le décodage se poursuit.

Des résultats issus de tests internes

Google a mené ses tests internes en juillet 2026, avec tpu-inference v0.24.0, JAX 0.10.2 et libtpu 0.0.42.1, en précisant que les résultats réels varieront. Pour le service P/D, la latence médiane de transfert KV de Qwen3 235B est passée de plusieurs secondes à environ 230 ms. Le TTFT (le délai avant le premier token généré) moyen a baissé de 60 % pour le 235B et de 90 % pour le 480B à faible concurrence, tandis que le débit de sortie des tokens a progressé de 30 % à 70 % pour le 235B lors des pics de trafic.

Pour la mise en cache de préfixes, la capacité effective du cache a augmenté d’un ordre de grandeur lorsque les poids MoE occupent la majeure partie de la HBM. Le TTFT moyen a baissé jusqu’à 90 % sur des charges de travail à contexte de 64K, le débit a progressé de plus de 50 %, et la latence inter-token P99 a diminué de 30 %.

Intégrations et limites

Avec PyTorch, la bibliothèque passe par TorchTPU, et avec JAX de manière native. Dans vLLM-TorchTPU, elle constitue le connecteur KV TPU derrière l’interface KVConnector de vLLM. Dans SGLang-TorchTPU, elle sert de backend de transfert P/D et d’entrées-sorties de cache hiérarchique. Sur GKE, llm-d 1.0 l’utilise pour un routage fondé sur l’affinité du cache de préfixes. Inferact et RadixArk ont co-conçu les intégrations vLLM et SGLang, et Google indique que Meta et Wayfair évaluent l’architecture.

Google ne publie pas de chiffres pour l’apprentissage par renforcement, et le README indique que la bibliothèque n’est pas encore recommandée pour un usage général. Les fonctions RL et le stockage à plusieurs niveaux restent expérimentaux, et l’ensemble des chiffres est auto-déclaré. L’article compare aussi TPU Sync à NVIDIA Dynamo KVBM + NIXL, LMCache et Mooncake, en notant que leurs chiffres de bande passante ne mesurent pas les mêmes chemins : celui de TPU Sync correspond au DMA PCIe de l’hôte, celui de Mooncake à un transfert réseau sur RoCE.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x