Google presenta due nuovi sistemi TPU per l’inferenza e i processi a lungo contesto

Google presenta due nuovi sistemi TPU per l’inferenza e i processi a lungo contesto
3 min di lettura
,

Google amplia la sua gamma di acceleratori dedicati all’IA con i TPU 8tx e TPU 8i Max, svelati il 9 novembre 2026. Queste due configurazioni completano l’ottava generazione di Tensor Processing Units (TPU), i chip progettati dal gruppo per i calcoli di intelligenza artificiale, e rispondono a due sfide distinte: la protezione dei processi su dati sensibili e la gestione di carichi di lavoro che richiedono molta memoria.

Questa annuncio porta a quattro il numero di sistemi TPU di ottava generazione presentati da Google nel 2026. Ad aprile, il gruppo aveva presentato i TPU 8t, destinati all’addestramento dei grandi modelli, e i TPU 8i, ottimizzati per l’inferenza e il ragionamento a bassa latenza, cioè per la produzione di risposte con un ritardo ridotto.

Due TPU per la riservatezza e i processi su larga scala

Il TPU 8tx si rivolge alle aziende e alle amministrazioni che desiderano eseguire modelli di IA e agenti autonomi su dati sensibili. Google mette in particolare in evidenza i settori soggetti a requisiti normativi, per i quali la riservatezza delle informazioni durante il loro trattamento costituisce una sfida importante. Sul piano hardware, il sistema riprende il silicio del TPU 8t e integra processori host AMD EPYC di quinta generazione. Incorpora anche meccanismi di sicurezza hardware destinati a proteggere i dati e i pesi dei modelli, cioè i parametri che ne definiscono il funzionamento, durante il loro utilizzo in memoria, e non solo quando sono archiviati o trasmessi in rete.

Google associa il TPU 8tx alla sua rete Boardfly, progettata per le comunicazioni a bassa latenza. Secondo il fornitore, questa architettura permette di dividere fino a due volte la latenza rispetto al TPU 8t, senza un degrado significativo delle prestazioni. La configurazione deve permettere alle aziende di effettuare diverse operazioni sulla stessa infrastruttura, in particolare l’addestramento, il fine-tuning su dati privati, cioè l’adattamento di un modello a un set di dati specifico, la distillazione di modelli e l’apprendimento per rinforzo di agenti IA.

Il TPU 8i Max risponde invece alle applicazioni che richiedono importanti risorse di memoria. Google cita in particolare gli agenti in grado di analizzare grandi basi di codice, lunghe sequenze video o contesti che superano il milione di token, i token essendo le unità di testo manipolate dai modelli. Per aumentare le risorse disponibili, il costruttore ha raggruppato due chip TPU 8i nello stesso package. Rispetto al TPU 8i, questa configurazione raddoppia le capacità di calcolo, la memoria SRAM e la banda passante della memoria HBM. Google indica inoltre che permette di integrare il doppio del silicio nella stessa impronta di rack, cioè nello spazio occupato da una baia di server.

Google vuole aprire maggiormente il suo ecosistema TPU

Parallelamente a questi annunci hardware, Google prosegue l’apertura del suo ambiente software. Il gruppo indica che TorchTPU, pubblicato in open source, permette di eseguire codice PyTorch e modelli Hugging Face sui suoi acceleratori. Sono inoltre proposte integrazioni per i motori di inferenza vLLM e SGLang. Una suite di agenti TPU è inoltre disponibile in anteprima. Deve automatizzare alcune operazioni di integrazione, diagnostica e ottimizzazione dei kernel, questi piccoli programmi che eseguono i calcoli sui chip. Google annuncia che questa suite è compatibile con diversi strumenti di sviluppo, tra cui Claude Code, Cursor e Google Antigravity.

Il fornitore presenta anche TPU Sync, uno strato software destinato a unificare la gestione della memoria HBM, della memoria DRAM degli host e dello storage condiviso. Deve in particolare facilitare il trasferimento delle cache KV, utilizzate dai modelli generativi per accelerare la produzione di testo. Google afferma che questa tecnologia può ridurre di oltre il 90% alcune latenze associate a questi trasferimenti e al tempo di generazione del primo token.

Infine, Cloud Pathways è ora disponibile in modo generale su Google Kubernetes Engine (GKE). La soluzione permette di orchestrare carichi di lavoro distribuiti su più insiemi di TPU da un unico controller.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x