Google lança TPU Sync : uma transferência open source de cache KV para TPUs

Google lança TPU Sync : uma transferência open source de cache KV para TPUs
4 min de leitura

TPU Sync, uma biblioteca open source em C++, permite mover os caches KV e os pesos dos modelos para as Cloud TPU, os processadores da Google especializados em computação de IA. Segundo a Google, a latência de transferência dos caches KV é reduzida em mais de 90% em modelos de mistura de especialistas (MoE) com 235 a 480 mil milhões de parâmetros.

A biblioteca considera a memória HBM das TPU, a memória DRAM do hospedeiro, o armazenamento partilhado e a rede do centro de dados como uma única hierarquia de memória. Responde, de acordo com o artigo, a um estrangulamento crescente: o movimento do estado dos modelos, em vez do seu cálculo. O seu núcleo está escrito em C++, com pacotes Python para PyTorch e JAX, e o seu repositório é publicado sob licença Apache-2.0.

O TPU Sync serve para dois usos: o cache KV durante a inferência, e a difusão dos pesos entre o treinador e o amostrador no aprendizado por reforço (RL). Funciona nas Cloud TPU v7x (Ironwood) e v6e, de acordo com o README do repositório. Os benchmarks foram realizados em TPU v7x na configuração 2x2x1, com PCIe Gen5 e placas de rede de 200 Gbps.

Uma transferência direta entre as memórias

A biblioteca lê os buffers JAX PJRT ou os tensores PyTorch no local, por acesso direto à memória (DMA), sem serialização Python nem tampão intermédio. As transferências podem ocorrer durante o cálculo, e um escalonamento integrado evita que cópias grandes atrasem o lançamento dos núcleos de cálculo. A Google indica uma taxa de transferência que pode atingir 223 GB/s por hospedeiro Ironwood, contra um limite de 256 GB/s para PCIe Gen5. Na rede do centro de dados (DCN), a taxa de transferência atinge cerca de 192 Gbps com uma placa de rede, e cerca de 350 Gbps com duas.

Num serviço dito « desagregado » de pré-preenchimento e descodificação (P/D), o nó de pré-preenchimento descarrega os blocos KV para a RAM do hospedeiro. Um controlador encaminha-os depois para o nó de descodificação, onde chegam à memória HBM enquanto a descodificação continua.

Resultados provenientes de testes internos

A Google realizou os seus testes internos em julho de 2026, com tpu-inference v0.24.0, JAX 0.10.2 e libtpu 0.0.42.1, referindo que os resultados reais variarão. Para o serviço P/D, a latência mediana de transferência KV do Qwen3 235B passou de vários segundos para cerca de 230 ms. O TTFT (o atraso antes do primeiro token gerado) médio diminuiu 60% para o 235B e 90% para o 480B com baixa concorrência, enquanto o débito de saída dos tokens aumentou de 30% a 70% para o 235B durante os picos de tráfego.

Para a colocação em cache de prefixos, a capacidade efetiva do cache aumentou uma ordem de grandeza quando os pesos MoE ocupam a maior parte da HBM. O TTFT médio diminuiu até 90% em cargas de trabalho com contexto de 64K, o débito aumentou mais de 50%, e a latência inter-token P99 diminuiu 30%.

Integrações e limitações

Com PyTorch, a biblioteca passa pelo TorchTPU, e com JAX de forma nativa. No vLLM-TorchTPU, constitui o conector KV TPU por trás da interface KVConnector do vLLM. No SGLang-TorchTPU, serve como backend de transferência P/D e de entradas-saídas de cache hierárquico. No GKE, o llm-d 1.0 utiliza-a para um encaminhamento baseado na afinidade do cache de prefixos. A Inferact e a RadixArk co-conceberam as integrações vLLM e SGLang, e a Google indica que a Meta e a Wayfair estão a avaliar a arquitetura.

A Google não publica números para o aprendizado por reforço, e o README indica que a biblioteca ainda não é recomendada para uso geral. As funções RL e o armazenamento de vários níveis permanecem experimentais, e todos os números são auto-declarados. O artigo compara também o TPU Sync ao NVIDIA Dynamo KVBM + NIXL, LMCache e Mooncake, notando que os seus números de largura de banda não medem os mesmos caminhos: o do TPU Sync corresponde ao DMA PCIe do hospedeiro, o do Mooncake a uma transferência de rede sobre RoCE.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x