Google uruchamia TPU Sync : otwartoźródłowy transfer cache KV dla TPU

Google uruchamia TPU Sync : otwartoźródłowy transfer cache KV dla TPU
3 min czytania

TPU Sync, biblioteka open source w C++, umożliwia przenoszenie cache KV oraz wag modeli na Cloud TPU, procesory Google specjalizujące się w obliczeniach AI. Według Google opóźnienie transferu cache KV jest redukowane o ponad 90% w modelach mieszanki ekspertów (MoE) o 235 do 480 miliardach parametrów.

Biblioteka traktuje pamięć HBM TPU, pamięć DRAM hosta, pamięć współdzieloną i sieć centrum danych jako jedną hierarchię pamięci. Według artykułu odpowiada na rosnące wąskie gardło: przenoszenie stanu modeli, a nie ich obliczanie. Jej rdzeń jest napisany w C++, z pakietami Python dla PyTorch i JAX, a repozytorium jest opublikowane na licencji Apache-2.0.

TPU Sync służy do dwóch zastosowań: cache KV podczas inferencji oraz rozsyłania wag między trenerem a samplerem w uczeniu ze wzmocnieniem (RL). Działa na Cloud TPU v7x (Ironwood) i v6e, zgodnie z README repozytorium. Testy wydajnościowe przeprowadzono na TPU v7x w konfiguracji 2x2x1, z PCIe Gen5 i kartami sieciowymi 200 Gbps.

Bezpośredni transfer między pamięciami

Biblioteka odczytuje bufory JAX PJRT lub tensory PyTorch w miejscu, poprzez bezpośredni dostęp do pamięci (DMA), bez serializacji w Pythonie ani buforów pośrednich. Transfery mogą przebiegać podczas obliczeń, a wbudowane planowanie zapobiega opóźnianiu uruchamiania jąder obliczeniowych przez duże kopie. Google wskazuje przepustowość sięgającą 223 GB/s na hosta Ironwood, przy maksymalnej 256 GB/s dla PCIe Gen5. W sieci centrum danych (DCN) przepustowość osiąga około 192 Gbps z jedną kartą sieciową i około 350 Gbps z dwiema.

W tzw. usłudze « odseparowanego » wstępnego wypełniania i dekodowania (P/D), węzeł wstępnego wypełniania zwalnia bloki KV do RAM hosta. Kontroler następnie kieruje je do węzła dekodowania, gdzie trafiają do pamięci HBM podczas trwania dekodowania.

Wyniki z testów wewnętrznych

Google przeprowadziło swoje testy wewnętrzne w lipcu 2026, z tpu-inference v0.24.0, JAX 0.10.2 i libtpu 0.0.42.1, zaznaczając, że rzeczywiste wyniki będą się różnić. Dla usługi P/D, medianowe opóźnienie transferu KV dla Qwen3 235B spadło z kilku sekund do około 230 ms. Średni TTFT (czas do pierwszego tokena) zmniejszył się o 60% dla 235B i o 90% dla 480B przy niskiej konkurencji, podczas gdy przepustowość generowania tokenów wzrosła o 30% do 70% dla 235B podczas szczytowego ruchu.

W przypadku cache’owania prefiksów, efektywna pojemność cache wzrosła o rząd wielkości, gdy wagi MoE zajmują większość HBM. Średni TTFT spadł nawet o 90% przy obciążeniach z kontekstem 64K, przepustowość wzrosła o ponad 50%, a opóźnienie między tokenami P99 zmniejszyło się o 30%.

Integracje i ograniczenia

Z PyTorch biblioteka działa przez TorchTPU, a z JAX natywnie. W vLLM-TorchTPU stanowi łącznik KV TPU za interfejsem KVConnector vLLM. W SGLang-TorchTPU służy jako backend transferu P/D oraz wejścia-wyjścia cache hierarchicznego. Na GKE, llm-d 1.0 używa jej do routingu opartego na afinicie cache prefiksów. Inferact i RadixArk współprojektowali integracje vLLM i SGLang, a Google wskazuje, że Meta i Wayfair oceniają tę architekturę.

Google nie publikuje danych dla uczenia ze wzmocnieniem, a README wskazuje, że biblioteka nie jest jeszcze zalecana do ogólnego użycia. Funkcje RL i pamięć wielopoziomowa pozostają eksperymentalne, a wszystkie dane są samodeklarowane. Artykuł porównuje także TPU Sync z NVIDIA Dynamo KVBM + NIXL, LMCache i Mooncake, zauważając, że ich dane przepustowości nie mierzą tych samych ścieżek: dane TPU Sync odpowiadają DMA PCIe hosta, a Mooncake – transferowi sieciowemu przez RoCE.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x