Google prevede di distribuire il prossimo anno due nuove varianti dei suoi acceleratori TPU, destinate al suo cloud e, forse, ad alcuni clienti che potrebbero ottenere l’hardware per i propri data center. Si tratta dei TPU 8tx e TPU 8i Max, derivati dalle chip Sunfish (TPU 8t) e Zebrafish (TPU 8i) presentate da Google ad aprile.
Il TPU 8t è prodotto dalla divisione chip di Broadcom e dovrebbe già essere presente nei data center di Google. Il TPU 8i è progettato con MediaTek, che ha subito ritardi all’inizio di quest’anno, e non è certo che sia già stato consegnato a Google. Le versioni modificate dovrebbero essere installate nel 2027. Secondo l’autore dell’analisi, un avvio nel primo trimestre 2027 è ipotizzabile, con una scalata in circa un anno e mezzo. Questi tempi sono frequenti: i TPU Ironwood (v7p), distribuiti internamente nel quarto trimestre 2025, sono stati offerti in affitto su Google Cloud solo circa un anno dopo, quando la capacità in eccesso è stata sufficiente. I loro prezzi sono ora pubblicati per le regioni US-Central1 (Iowa) ed Europe-West2 (Londra).
Il TPU 8t, per l’addestramento
Il TPU 8t è progettato per i carichi di lavoro di addestramento. La sua interconnessione a toro 3D collega fino a 9.600 acceleratori in uno spazio di memoria condiviso e coerente, per una potenza dichiarata di 121 exaflop in precisione FP4. Mark Lohmeyer, vicepresidente e direttore generale dell’IA e dell’infrastruttura di calcolo di Google, ha indicato in una conferenza telefonica che queste macchine sono raggruppate in pod da 9.600 unità, poi assemblate in un cluster di oltre 1 milione di dispositivi TPU 8t. Questo cluster avrebbe servito per addestrare Gemini 4 Carbon, sviluppato dalla divisione DeepMind e annunciato il 28 ottobre.
Per l’accesso tramite API via Google Cloud, Gemini 4 Carbon e Gemini 4 Argon hanno entrambi un «prezzo di lancio» di 2 dollari per milione di token in input e di 10 dollari per milione di token in output. I token di input memorizzati nella cache sono fatturati con uno sconto del 95% rispetto al prezzo dei token di input.
Il TPU 8tx e il TPU 8i Max, per l’inferenza
Il TPU 8tx è una variante del TPU 8t orientata all’inferenza, cioè all’esecuzione dei modelli una volta addestrati, anche se può servire anche per l’addestramento durante i periodi di inattività. Google sostituisce il toro 3D con un’interconnessione boardfly, una variante della topologia dragonfly progettata dall’azienda stessa. I pod passano così da 9.600 a 1.152 acceleratori. Secondo l’analisi pubblicata, la latenza media di questo sistema sarebbe circa due volte inferiore a quella della topologia a toro 3D. Il processore server Axion, con architettura Arm, è anch’esso sostituito da un processore AMD Epyc il cui modello non è nominato. Questa scelta è spiegata dagli acceleratori di cifratura e di root of trust integrati in questi processori, che permettono di mantenere i dati cifrati fino al momento dell’elaborazione.
Il TPU 8i Max, invece, mira ai carichi di lavoro con contesti lunghi. Raddoppia il numero di complessi Zebrafish per socket, ma la capacità di memoria HBM per socket aumenta solo del 33% rispetto al TPU 8i originale. Ogni chip del TPU 8i originale disponeva di 288 GB di memoria, contro 192 GB per chip per il TPU 8i Max, con una banda passante invariata di 8,6 TB/s. Questa configurazione distribuisce la memoria su più chip, che sono accoppiati per formare una memoria condivisa più grande.
TPU Sync, una gestione della memoria
Google ha anche sviluppato TPU Sync, un livello software di gestione gerarchica della memoria, che funziona sopra i TPU. «Ciò significa che i TPU sono spesso inattivi per gran parte del tempo», ha spiegato Mark Lohmeyer. «Se dovessimo mantenere queste risorse impegnate anche quando non servono, ciò creerebbe enormi inefficienze, tanto più che questi carichi di lavoro agentici iniziano davvero a prendere piede.» Secondo lui, TPU Sync sposta la memoria di lavoro fuori dal chip quando un agente si mette in pausa, per poi ripristinarla alla ripresa dell’elaborazione. Trattandosi di un software, Google può applicarlo alle generazioni precedenti, e l’azienda lo ha fatto per i TPU 5, 6, 7 e 8. L’analisi sottolinea che il guadagno di throughput di inferenza apportato da TPU Sync non è stato quantificato.
