Google plant volgend jaar twee nieuwe varianten van zijn TPU-versnellers uit te rollen, bedoeld voor zijn cloud en mogelijk voor enkele klanten die hardware voor hun eigen datacenters zouden kunnen krijgen. Het gaat om de TPU 8tx en TPU 8i Max, afgeleid van de chips Sunfish (TPU 8t) en Zebrafish (TPU 8i) die Google in april presenteerde.
De TPU 8t wordt vervaardigd door de chipdivisie van Broadcom en zou al in de datacenters van Google moeten worden opgenomen. De TPU 8i wordt ontwikkeld met MediaTek, dat eerder dit jaar vertragingen kende, en het is niet zeker of deze al aan Google is geleverd. De aangepaste versies zouden in 2027 geïnstalleerd worden. Volgens de auteur van de analyse is een lancering in het eerste kwartaal van 2027 denkbaar, met een opbouw over ongeveer anderhalf jaar. Zulke termijnen komen vaak voor: de TPU Ironwood (v7p), intern ingezet in het vierde kwartaal van 2025, werden pas ongeveer een jaar later aangeboden voor verhuur op Google Cloud, toen de overcapaciteit groot genoeg was. Hun tarieven zijn nu gepubliceerd voor de regio’s US-Central1 (Iowa) en Europe-West2 (Londen).
De TPU 8t, voor training
De TPU 8t is ontworpen voor trainingsworkloads. Zijn 3D-torusinterconnectie verbindt tot 9.600 versnellers in een gedeelde en consistente geheugenruimte, voor een aangekondigd vermogen van 121 exaflops bij FP4-precision. Mark Lohmeyer, vicepresident en algemeen directeur van AI en computerinfrastructuur bij Google, gaf tijdens een teleconferentie aan dat deze machines worden gegroepeerd in pods van 9.600 eenheden, die vervolgens worden samengevoegd tot een cluster van meer dan 1 miljoen TPU 8t-apparaten. Dit cluster zou zijn gebruikt om Gemini 4 Carbon te trainen, ontwikkeld door de divisie DeepMind en aangekondigd op 28 oktober.
Voor API-toegang via Google Cloud hebben zowel Gemini 4 Carbon als Gemini 4 Argon een ‘introductieprijs’ van 2 dollar per miljoen invoertokens en 10 dollar per miljoen uitvoertokens. In cache geplaatste invoertokens worden in rekening gebracht met een korting van 95% ten opzichte van de prijs van invoertokens.
De TPU 8tx en TPU 8i Max, voor inferentie
De TPU 8tx is een variant van de TPU 8t gericht op inferentie, dat wil zeggen het uitvoeren van getrainde modellen, hoewel hij ook kan worden gebruikt voor training tijdens inactieve periodes. Google vervangt hier de 3D-torus door een boardfly-interconnectie, een variant van de dragonfly-topologie die het bedrijf zelf heeft ontworpen. De pods gaan daardoor van 9.600 naar 1.152 versnellers. Volgens de gepubliceerde analyse zou de gemiddelde latentie van dit systeem ongeveer twee keer lager zijn dan die van de 3D-torus-topologie. De Axion-serverprocessor, met Arm-architectuur, wordt ook vervangen door een AMD Epyc-processor waarvan het model niet wordt genoemd. Deze keuze wordt verklaard door de versleutelings- en root-of-trust-versnellers die in deze processors zijn ingebouwd, waardoor gegevens versleuteld kunnen blijven tot het moment van verwerking.
De TPU 8i Max richt zich op workloads met lange contexten. Hij verdubbelt het aantal Zebrafish-complexen per socket, maar de HBM-geheugencapaciteit per socket neemt slechts met 33% toe ten opzichte van de originele TPU 8i. Elke chip van de originele TPU 8i beschikte over 288 GB geheugen, tegenover 192 GB per chip voor de TPU 8i Max, met een onveranderde bandbreedte van 8,6 TB/s. Deze configuratie verdeelt het geheugen over meer chips, die worden gekoppeld om een groter gedeeld geheugen te vormen.
TPU Sync, een geheugenbeheer
Google heeft ook TPU Sync ontwikkeld, een softwarelaag voor hiërarchisch geheugenbeheer, die bovenop de TPU’s werkt. « Dit betekent dat TPU’s vaak een groot deel van de tijd inactief zijn, » legde Mark Lohmeyer uit. « Als we deze bronnen zouden blijven inzetten zelfs wanneer ze niet worden gebruikt, zou dat enorme inefficiënties creëren, zeker nu deze agentische workloads echt op gang komen. » Volgens hem verplaatst TPU Sync het werkgeheugen van de chip wanneer een agent pauzeert, en herstelt het bij hervatting van de verwerking. Omdat het software is, kan Google het toepassen op eerdere generaties, en het bedrijf heeft dat gedaan voor de TPU 5, 6, 7 en 8. De analyse benadrukt dat de doorvoerwinst voor inferentie door TPU Sync niet is gekwantificeerd.
