The AI / news

Google представляет две новые системы TPU для вывода и обработки длинных контекстов

Google представляет две новые системы TPU для вывода и обработки длинных контекстов
3 мин чтения
,

Google расширяет линейку ускорителей для ИИ системами TPU 8tx и TPU 8i Max, представленными 9 ноября 2026 года. Эти две конфигурации дополняют восьмое поколение Tensor Processing Units (TPU) — чипов, разработанных компанией для вычислений в области искусственного интеллекта, и решают две различные задачи: обеспечение безопасности обработки конфиденциальных данных и управление рабочими нагрузками, требующими большого объема памяти.

Это объявление увеличивает до четырех количество систем TPU восьмого поколения, представленных Google в 2026 году. В апреле компания анонсировала TPU 8t, предназначенные для обучения больших моделей, и TPU 8i, оптимизированные для вывода и рассуждений с низкой задержкой, то есть для генерации ответов с минимальным временем ожидания.

Две TPU для конфиденциальности и обработки данных в крупном масштабе

TPU 8tx ориентирована на компании и государственные учреждения, которые хотят запускать модели ИИ и автономных агентов на конфиденциальных данных. Google особенно выделяет секторы, подпадающие под строгие регуляторные требования, для которых конфиденциальность информации во время обработки является критически важной. На аппаратном уровне система использует тот же кремний, что и TPU 8t, и включает хост-процессоры AMD EPYC пятого поколения. Она также оснащена аппаратными механизмами безопасности, предназначенными для защиты данных и весов моделей — параметров, определяющих их работу, — во время их использования в памяти, а не только при хранении или передаче по сети.

Google сочетает TPU 8tx со своей сетью Boardfly, разработанной для коммуникаций с низкой задержкой. По словам поставщика, эта архитектура позволяет сократить задержку до двух раз по сравнению с TPU 8t без значительного снижения производительности. Конфигурация должна позволить компаниям выполнять несколько операций на одной инфраструктуре, включая обучение, тонкую настройку на приватных данных (адаптацию модели под конкретный набор данных), дистилляцию моделей и обучение с подкреплением для ИИ-агентов.

TPU 8i Max, в свою очередь, предназначена для приложений, требующих значительных ресурсов памяти. Google в качестве примеров называет агентов, способных анализировать большие базы кода, длинные видеофрагменты или контексты, превышающие миллион токенов (токены — это единицы текста, которыми оперируют модели). Чтобы увеличить доступные ресурсы, производитель объединил два чипа TPU 8i в один корпус. По сравнению с TPU 8i эта конфигурация удваивает вычислительную мощность, объем памяти SRAM и пропускную способность памяти HBM. Google также отмечает, что она позволяет разместить вдвое больше кремния в том же пространстве стойки, то есть в объеме, занимаемом серверной стойкой.

Google хочет больше открыть свою экосистему TPU

Параллельно с этими аппаратными анонсами Google продолжает открывать свое программное окружение. Компания сообщает, что TorchTPU, выпущенный с открытым исходным кодом, позволяет запускать код PyTorch и модели Hugging Face на своих ускорителях. Также предлагаются интеграции для движков вывода vLLM и SGLang. Кроме того, доступен предварительный просмотр набора инструментов TPU Agents. Он должен автоматизировать некоторые операции по интеграции, диагностике и оптимизации ядер — небольших программ, выполняющих вычисления на чипах. Google объявляет, что этот набор совместим с несколькими инструментами разработки, включая Claude Code, Cursor и Google Antigravity.

Поставщик также представляет TPU Sync — программный слой, предназначенный для унификации управления памятью HBM, оперативной памятью DRAM хостов и общим хранилищем. Он должен, в частности, упростить передачу кэшей KV, используемых генеративными моделями для ускорения генерации текста. Google утверждает, что эта технология может сократить более чем на 90% некоторые задержки, связанные с этими передачами и временем генерации первого токена.

Наконец, Cloud Pathways теперь общедоступна в Google Kubernetes Engine (GKE). Решение позволяет оркестрировать распределенные рабочие нагрузки на нескольких наборах TPU из единого контроллера.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x