TPU Sync, biblioteka open source w C++, umożliwia przenoszenie cache KV oraz wag modeli na Cloud TPU, procesory Google specjalizujące się w obliczeniach AI. Według Google opóźnienie transferu cache KV jest redukowane o ponad 90% w modelach mieszanki ekspertów (MoE) o 235 do 480 miliardach parametrów.
Biblioteka traktuje pamięć HBM TPU, pamięć DRAM hosta, pamięć współdzieloną i sieć centrum danych jako jedną hierarchię pamięci. Według artykułu odpowiada na rosnące wąskie gardło: przenoszenie stanu modeli, a nie ich obliczanie. Jej rdzeń jest napisany w C++, z pakietami Python dla PyTorch i JAX, a repozytorium jest opublikowane na licencji Apache-2.0.
TPU Sync służy do dwóch zastosowań: cache KV podczas inferencji oraz rozsyłania wag między trenerem a samplerem w uczeniu ze wzmocnieniem (RL). Działa na Cloud TPU v7x (Ironwood) i v6e, zgodnie z README repozytorium. Testy wydajnościowe przeprowadzono na TPU v7x w konfiguracji 2x2x1, z PCIe Gen5 i kartami sieciowymi 200 Gbps.
Bezpośredni transfer między pamięciami
Biblioteka odczytuje bufory JAX PJRT lub tensory PyTorch w miejscu, poprzez bezpośredni dostęp do pamięci (DMA), bez serializacji w Pythonie ani buforów pośrednich. Transfery mogą przebiegać podczas obliczeń, a wbudowane planowanie zapobiega opóźnianiu uruchamiania jąder obliczeniowych przez duże kopie. Google wskazuje przepustowość sięgającą 223 GB/s na hosta Ironwood, przy maksymalnej 256 GB/s dla PCIe Gen5. W sieci centrum danych (DCN) przepustowość osiąga około 192 Gbps z jedną kartą sieciową i około 350 Gbps z dwiema.
W tzw. usłudze « odseparowanego » wstępnego wypełniania i dekodowania (P/D), węzeł wstępnego wypełniania zwalnia bloki KV do RAM hosta. Kontroler następnie kieruje je do węzła dekodowania, gdzie trafiają do pamięci HBM podczas trwania dekodowania.
Wyniki z testów wewnętrznych
Google przeprowadziło swoje testy wewnętrzne w lipcu 2026, z tpu-inference v0.24.0, JAX 0.10.2 i libtpu 0.0.42.1, zaznaczając, że rzeczywiste wyniki będą się różnić. Dla usługi P/D, medianowe opóźnienie transferu KV dla Qwen3 235B spadło z kilku sekund do około 230 ms. Średni TTFT (czas do pierwszego tokena) zmniejszył się o 60% dla 235B i o 90% dla 480B przy niskiej konkurencji, podczas gdy przepustowość generowania tokenów wzrosła o 30% do 70% dla 235B podczas szczytowego ruchu.
W przypadku cache’owania prefiksów, efektywna pojemność cache wzrosła o rząd wielkości, gdy wagi MoE zajmują większość HBM. Średni TTFT spadł nawet o 90% przy obciążeniach z kontekstem 64K, przepustowość wzrosła o ponad 50%, a opóźnienie między tokenami P99 zmniejszyło się o 30%.
Integracje i ograniczenia
Z PyTorch biblioteka działa przez TorchTPU, a z JAX natywnie. W vLLM-TorchTPU stanowi łącznik KV TPU za interfejsem KVConnector vLLM. W SGLang-TorchTPU służy jako backend transferu P/D oraz wejścia-wyjścia cache hierarchicznego. Na GKE, llm-d 1.0 używa jej do routingu opartego na afinicie cache prefiksów. Inferact i RadixArk współprojektowali integracje vLLM i SGLang, a Google wskazuje, że Meta i Wayfair oceniają tę architekturę.
Google nie publikuje danych dla uczenia ze wzmocnieniem, a README wskazuje, że biblioteka nie jest jeszcze zalecana do ogólnego użycia. Funkcje RL i pamięć wielopoziomowa pozostają eksperymentalne, a wszystkie dane są samodeklarowane. Artykuł porównuje także TPU Sync z NVIDIA Dynamo KVBM + NIXL, LMCache i Mooncake, zauważając, że ich dane przepustowości nie mierzą tych samych ścieżek: dane TPU Sync odpowiadają DMA PCIe hosta, a Mooncake – transferowi sieciowemu przez RoCE.
