Google prevê lançar no próximo ano duas novas variantes dos seus aceleradores TPU, destinadas à sua cloud e, possivelmente, a alguns clientes que poderão obter hardware para os seus próprios centros de dados. Trata-se dos TPU 8tx e TPU 8i Max, derivados dos chips Sunfish (TPU 8t) e Zebrafish (TPU 8i) que a Google tinha apresentado em abril.
O TPU 8t é fabricado pela divisão de chips da Broadcom e deverá já estar a entrar nos centros de dados da Google. O TPU 8i é concebido com a MediaTek, que registou atrasos mais cedo este ano, e não é certo que já tenha sido entregue à Google. As versões modificadas deverão ser instaladas em 2027. Segundo o autor da análise, um arranque no primeiro trimestre de 2027 é viável, com uma escalada ao longo de cerca de um ano e meio. Estes prazos são frequentes: os TPU Ironwood (v7p), implantados internamente no quarto trimestre de 2025, só foram disponibilizados para aluguer na Google Cloud cerca de um ano depois, quando a capacidade excedente foi suficiente. Os seus preços estão agora publicados para as regiões US-Central1 (Iowa) e Europe-West2 (Londres).
O TPU 8t, para o treino
O TPU 8t é concebido para cargas de trabalho de treino. A sua interligação em toro 3D liga até 9600 aceleradores num espaço de memória partilhado e coerente, para uma potência anunciada de 121 exaflops em precisão FP4. Mark Lohmeyer, vice-presidente e diretor-geral de IA e infraestrutura de computação na Google, indicou numa conferência telefónica que estas máquinas são agrupadas em pods de 9600 unidades, depois montadas num cluster de mais de 1 milhão de dispositivos TPU 8t. Este cluster terá servido para treinar o Gemini 4 Carbon, desenvolvido pela divisão DeepMind e anunciado a 28 de outubro.
Para o acesso por API através da Google Cloud, tanto o Gemini 4 Carbon como o Gemini 4 Argon têm um «preço de introdução» de 2 dólares por milhão de tokens de entrada e de 10 dólares por milhão de tokens de saída. Os tokens de entrada em cache são faturados com um desconto de 95% em relação ao preço dos tokens de entrada.
O TPU 8tx e o TPU 8i Max, para a inferência
O TPU 8tx é uma variante do TPU 8t orientada para a inferência, ou seja, a execução dos modelos uma vez treinados, embora também possa servir para o treino durante os períodos de inatividade. A Google substitui o toro 3D por uma interligação boardfly, uma variante da topologia dragonfly que a empresa concebeu. Os pods passam assim de 9600 para 1152 aceleradores. Segundo a análise publicada, a latência média deste sistema seria cerca de duas vezes mais baixa do que a da topologia em toro 3D. O processador servidor Axion, com arquitetura Arm, é também substituído por um processador AMD Epyc cujo modelo não é nomeado. Esta escolha explica-se pelos aceleradores de encriptação e de raiz de confiança integrados nestes processadores, que permitem manter os dados encriptados até ao momento do processamento.
O TPU 8i Max, por sua vez, visa as cargas de trabalho com contextos longos. Duplica o número de complexos Zebrafish por socket, mas a capacidade de memória HBM por socket só aumenta 33% em relação ao TPU 8i original. Cada chip do TPU 8i original dispunha de 288 GB de memória, contra 192 GB por chip para o TPU 8i Max, com uma largura de banda inalterada de 8,6 TB/s. Esta configuração distribui a memória por mais chips, que são acoplados para formar uma memória partilhada maior.
TPU Sync, uma gestão da memória
A Google desenvolveu também o TPU Sync, uma camada de software de gestão hierárquica da memória, que funciona por cima dos TPU. «Isso significa que os TPU estão muitas vezes inativos grande parte do tempo», explicou Mark Lohmeyer. «Se tivéssemos de manter esses recursos mobilizados mesmo quando não estão a ser usados, isso criaria enormes ineficiências, ainda mais porque estas cargas de trabalho agentes começam realmente a ganhar força.» Segundo ele, o TPU Sync move a memória de trabalho para fora do chip quando um agente faz uma pausa, depois restaura-a quando o processamento é retomado. Como se trata de software, a Google pode aplicá-lo a gerações anteriores, e a empresa já o fez para os TPU 5, 6, 7 e 8. A análise salienta que o ganho de débito de inferência trazido pelo TPU Sync não foi quantificado.
