Google планирует развернуть в следующем году две новые версии своих ускорителей TPU, предназначенные для своего облака и, возможно, для некоторых клиентов, которые смогут получить оборудование для своих собственных дата-центров. Речь идет о TPU 8tx и TPU 8i Max, производных от чипов Sunfish (TPU 8t) и Zebrafish (TPU 8i), представленных Google в апреле.
TPU 8t производится чиповым подразделением Broadcom и уже должен поступать в дата-центры Google. TPU 8i разрабатывается совместно с MediaTek, у которой в этом году были задержки, и не факт, что он уже поставляется Google. Модифицированные версии должны быть установлены в 2027 году. По мнению автора анализа, запуск в первом квартале 2027 года возможен, с выходом на полную мощность примерно за полтора года. Такие сроки обычны: TPU Ironwood (v7p), развернутые внутри компании в четвертом квартале 2025 года, стали доступны для аренды в Google Cloud лишь примерно год спустя, когда появился достаточный избыток мощностей. Их тарифы теперь опубликованы для регионов US-Central1 (Айова) и Europe-West2 (Лондон).
TPU 8t для обучения
TPU 8t предназначен для рабочих нагрузок обучения. Его 3D-тороидная межсоединение связывает до 9600 ускорителей в общем и когерентном адресном пространстве памяти, обеспечивая заявленную производительность в 121 экзафлопс при точности FP4. Марк Ломейер, вице-президент и генеральный менеджер по ИИ и вычислительной инфраструктуре Google, заявил на телеконференции, что эти машины объединяются в кластеры (pods) по 9600 единиц, а затем собираются в кластер из более чем 1 миллиона устройств TPU 8t. Этот кластер, предположительно, использовался для обучения Gemini 4 Carbon, разработанного подразделением DeepMind и анонсированного 28 октября.
Для доступа через API через Google Cloud и у Gemini 4 Carbon, и у Gemini 4 Argon установлена «вводная цена» в 2 доллара за миллион входных токенов и 10 долларов за миллион выходных токенов. Кэшированные входные токены тарифицируются со скидкой 95% от цены входных токенов.
TPU 8tx и TPU 8i Max для инференса
TPU 8tx — это вариант TPU 8t, ориентированный на инференс, то есть выполнение уже обученных моделей, хотя он также может использоваться для обучения в периоды простоя. Google заменяет в нем 3D-тороид на межсоединение boardfly, вариант топологии dragonfly, разработанный самой компанией. Кластеры (pods) уменьшаются с 9600 до 1152 ускорителей. Согласно опубликованному анализу, средняя задержка этой системы примерно в два раза ниже, чем у топологии 3D-тороида. Серверный процессор Axion на архитектуре Arm также заменен на процессор AMD Epyc, модель которого не называется. Этот выбор объясняется наличием в этих процессорах встроенных ускорителей шифрования и доверенного корня (root of trust), которые позволяют хранить данные в зашифрованном виде до момента обработки.
TPU 8i Max, в свою очередь, нацелен на рабочие нагрузки с длинным контекстом. Он удваивает количество комплексов Zebrafish на сокет, но емкость памяти HBM на сокет увеличивается лишь на 33% по сравнению с оригинальным TPU 8i. Каждый чип оригинального TPU 8i имел 288 ГБ памяти, против 192 ГБ на чип у TPU 8i Max, при неизменной пропускной способности 8,6 ТБ/с. Эта конфигурация распределяет память по большему количеству чипов, которые объединяются для формирования более крупной общей памяти.
TPU Sync, управление памятью
Google также разработал TPU Sync — программный уровень иерархического управления памятью, работающий поверх TPU. «Это означает, что TPU часто простаивают большую часть времени», — пояснил Марк Ломейер. «Если бы мы держали эти ресурсы задействованными даже тогда, когда они не используются, это создало бы огромную неэффективность, тем более что эти агентные рабочие нагрузки действительно начинают набирать обороты». По его словам, TPU Sync перемещает рабочую память за пределы чипа, когда агент приостанавливается, и восстанавливает ее при возобновлении обработки. Поскольку это программное обеспечение, Google может применять его к предыдущим поколениям, и компания сделала это для TPU 5, 6, 7 и 8. В анализе отмечается, что выигрыш в пропускной способности инференса от TPU Sync не был количественно оценен.
