Google lanza TPU Sync : una transferencia de caché KV de código abierto para las TPU

Google lanza TPU Sync : una transferencia de caché KV de código abierto para las TPU
4 min de lectura

TPU Sync, una biblioteca de código abierto en C++, permite mover las cachés KV y los pesos de los modelos a las Cloud TPU, los procesadores de Google especializados en cálculo de IA. Según Google, la latencia de transferencia de las cachés KV se reduce en más de un 90 % en modelos de mezcla de expertos (MoE) de 235 a 480 mil millones de parámetros.

La biblioteca considera la memoria HBM de las TPU, la memoria DRAM del host, el almacenamiento compartido y la red del centro de datos como una sola jerarquía de memoria. Responde, según el artículo, a un cuello de botella creciente: el movimiento del estado de los modelos, más que su cálculo. Su núcleo está escrito en C++, con paquetes Python para PyTorch y JAX, y su repositorio se publica bajo licencia Apache-2.0.

TPU Sync sirve para dos usos: la caché KV durante la inferencia, y la difusión de los pesos entre el entrenador y el muestreador en el aprendizaje por refuerzo (RL). Funciona en las Cloud TPU v7x (Ironwood) y v6e, según el README del repositorio. Los benchmarks se realizaron en TPU v7x en configuración 2x2x1, con PCIe Gen5 y tarjetas de red de 200 Gbps.

Una transferencia directa entre las memorias

La biblioteca lee los buffers JAX PJRT o los tensores PyTorch en su lugar, por acceso directo a memoria (DMA), sin serialización Python ni búfer intermedio. Las transferencias pueden ocurrir durante el cálculo, y una programación integrada evita que copias grandes retrasen el lanzamiento de los núcleos de cálculo. Google indica un rendimiento que puede alcanzar los 223 GB/s por host Ironwood, frente a un límite de 256 GB/s para PCIe Gen5. En la red del centro de datos (DCN), el rendimiento alcanza unos 192 Gbps con una tarjeta de red, y unos 350 Gbps con dos.

En un servicio denominado «desagregado» de prellenado y decodificación (P/D), el nodo de prellenado descarga los bloques KV a la RAM del host. Un controlador los dirige luego al nodo de decodificación, donde llegan a la memoria HBM mientras continúa la decodificación.

Resultados procedentes de pruebas internas

Google realizó sus pruebas internas en julio de 2026, con tpu-inference v0.24.0, JAX 0.10.2 y libtpu 0.0.42.1, señalando que los resultados reales variarán. Para el servicio P/D, la latencia mediana de transferencia KV de Qwen3 235B pasó de varios segundos a unos 230 ms. El TTFT (el retraso antes de que se genere el primer token) promedio disminuyó un 60 % para el 235B y un 90 % para el 480B con baja concurrencia, mientras que el rendimiento de salida de tokens mejoró entre un 30 % y un 70 % para el 235B durante los picos de tráfico.

Para el almacenamiento en caché de prefijos, la capacidad efectiva de la caché aumentó en un orden de magnitud cuando los pesos MoE ocupan la mayor parte de la HBM. El TTFT promedio disminuyó hasta un 90 % en cargas de trabajo con contexto de 64K, el rendimiento mejoró en más de un 50 %, y la latencia inter-token P99 disminuyó un 30 %.

Integraciones y limitaciones

Con PyTorch, la biblioteca pasa por TorchTPU, y con JAX de forma nativa. En vLLM-TorchTPU, constituye el conector KV TPU detrás de la interfaz KVConnector de vLLM. En SGLang-TorchTPU, sirve como backend de transferencia P/D y de entrada-salida de caché jerárquica. En GKE, llm-d 1.0 la utiliza para un enrutamiento basado en la afinidad de la caché de prefijos. Inferact y RadixArk co-diseñaron las integraciones vLLM y SGLang, y Google indica que Meta y Wayfair están evaluando la arquitectura.

Google no publica cifras para el aprendizaje por refuerzo, y el README indica que la biblioteca aún no se recomienda para uso general. Las funciones RL y el almacenamiento multinivel siguen siendo experimentales, y todas las cifras son autodeclaradas. El artículo también compara TPU Sync con NVIDIA Dynamo KVBM + NIXL, LMCache y Mooncake, señalando que sus cifras de ancho de banda no miden las mismas rutas: la de TPU Sync corresponde al DMA PCIe del host, la de Mooncake a una transferencia de red sobre RoCE.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x