Google prezentuje dwa nowe systemy TPU do wnioskowania i przetwarzania długich kontekstów

Google prezentuje dwa nowe systemy TPU do wnioskowania i przetwarzania długich kontekstów
3 min czytania
,

Google rozszerza swoją gamę akceleratorów dedykowanych dla sztucznej inteligencji o TPU 8tx i TPU 8i Max, zaprezentowane 9 listopada 2026 roku. Te dwie konfiguracje uzupełniają ósmą generację jednostek przetwarzania tensorowego (TPU), czyli układów zaprojektowanych przez koncern do obliczeń związanych ze sztuczną inteligencją, i odpowiadają na dwa odrębne wyzwania: zabezpieczenie przetwarzania wrażliwych danych oraz zarządzanie zadaniami wymagającymi dużej ilości pamięci.

To ogłoszenie zwiększa liczbę systemów TPU ósmej generacji zaprezentowanych przez Google w 2026 roku do czterech. W kwietniu koncern przedstawił TPU 8t, przeznaczone do trenowania dużych modeli, oraz TPU 8i, zoptymalizowane do wnioskowania i rozumowania z niskimi opóźnieniami, czyli do generowania odpowiedzi w krótkim czasie.

Dwa TPU dla poufności i przetwarzania na dużą skalę

TPU 8tx skierowany jest do przedsiębiorstw i administracji, które chcą uruchamiać modele AI i autonomiczne agenty na wrażliwych danych. Google podkreśla zwłaszcza sektory podlegające wymogom regulacyjnym, dla których poufność informacji podczas ich przetwarzania jest kluczowa. Pod względem sprzętowym system wykorzystuje ten sam krzem co TPU 8t i integruje procesory hostujące AMD EPYC piątej generacji. Zawiera także mechanizmy bezpieczeństwa sprzętowego mające chronić dane oraz wagi modeli, czyli parametry definiujące ich działanie, podczas użycia w pamięci, a nie tylko podczas przechowywania lub przesyłania przez sieć.

Google łączy TPU 8tx ze swoją siecią Boardfly, zaprojektowaną dla komunikacji o niskich opóźnieniach. Według dostawcy, ta architektura pozwala nawet dwukrotnie zmniejszyć opóźnienia w porównaniu z TPU 8t, bez znaczącego pogorszenia wydajności. Konfiguracja ma umożliwić firmom wykonywanie wielu operacji na tej samej infrastrukturze, w tym trenowanie, dostrajanie (fine-tuning) na prywatnych danych, czyli adaptację modelu do specyficznego zbioru danych, destylację modeli oraz uczenie przez wzmacnianie agentów AI.

TPU 8i Max odpowiada natomiast aplikacjom wymagającym znacznych zasobów pamięci. Google wymienia tu między innymi agenty zdolne do analizy dużych baz kodu, długich sekwencji wideo lub kontekstów przekraczających milion tokenów, przy czym tokeny to jednostki tekstu przetwarzane przez modele. Aby zwiększyć dostępne zasoby, producent połączył dwa układy TPU 8i w jednym pakiecie. W porównaniu z TPU 8i, ta konfiguracja podwaja moc obliczeniową, pamięć SRAM i przepustowość pamięci HBM. Google wskazuje również, że pozwala ona zmieścić dwa razy więcej krzemu w tej samej powierzchni racka, czyli w przestrzeni zajmowanej przez szafę serwerową.

Google chce bardziej otworzyć swój ekosystem TPU

Równolegle z tymi ogłoszeniami sprzętowymi, Google kontynuuje otwieranie swojego środowiska programistycznego. Koncern informuje, że TorchTPU, opublikowany jako open source, umożliwia uruchamianie kodu PyTorch i modeli Hugging Face na jego akceleratorach. Oferowane są także integracje z silnikami wnioskowania vLLM i SGLang. W wersji zapowiedziowej dostępny jest również pakiet agentów TPU. Ma on automatyzować niektóre operacje integracji, diagnostyki i optymalizacji kernelów, czyli małych programów wykonujących obliczenia na układach. Google zapowiada, że pakiet ten jest kompatybilny z wieloma narzędziami programistycznymi, w tym Claude Code, Cursor i Google Antigravity.

Dostawca prezentuje także TPU Sync, warstwę programistyczną mającą ujednolicić zarządzanie pamięcią HBM, pamięcią DRAM hostów i pamięcią masową współdzieloną. Ma ona między innymi ułatwić transfer pamięci podręcznych KV, używanych przez modele generatywne do przyspieszenia generowania tekstu. Google twierdzi, że ta technologia może zmniejszyć o ponad 90% niektóre opóźnienia związane z tymi transferami oraz z czasem generowania pierwszego tokena.

Wreszcie, Cloud Pathways jest ogólnie dostępny w Google Kubernetes Engine (GKE). Rozwiązanie to umożliwia orchestrację zadań rozproszonych na wielu zestawach TPU z poziomu pojedynczego kontrolera.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x