TPU Sync, библиотека с открытым исходным кодом на C++, позволяет перемещать кэши KV и веса моделей на Cloud TPU — специализированные процессоры Google для вычислений в сфере The AI / news. По данным Google, задержка передачи кэшей KV снижается более чем на 90% для моделей со смесью экспертов (MoE) объемом от 235 до 480 миллиардов параметров.
Библиотека рассматривает память HBM TPU, оперативную память DRAM хоста, общее хранилище и сеть центра обработки данных как единую иерархию памяти. По словам авторов, она решает растущую проблему узкого места: перемещение состояния моделей, а не их вычисление. Её ядро написано на C++, есть пакеты Python для PyTorch и JAX, а репозиторий опубликован под лицензией Apache-2.0.
TPU Sync предназначена для двух задач: кэширования KV во время вывода (инференса) и распространения весов между обучающим и сэмплирующим модулями при обучении с подкреплением (RL). Согласно README репозитория, она работает на Cloud TPU v7x (Ironwood) и v6e. Тестирование проводилось на TPU v7x в конфигурации 2x2x1 с PCIe Gen5 и сетевыми картами на 200 Гбит/с.
Прямая передача между памятью
Библиотека считывает буферы JAX PJRT или тензоры PyTorch напрямую, через прямой доступ к памяти (DMA), без сериализации в Python и промежуточных буферов. Передачи могут происходить параллельно с вычислениями, а встроенное планирование предотвращает задержки запуска вычислительных ядер из-за крупных копий. Google сообщает о пропускной способности до 223 ГБ/с на хост Ironwood при теоретическом пределе PCIe Gen5 в 256 ГБ/с. В сети ЦОД (DCN) пропускная способность достигает около 192 Гбит/с с одной сетевой картой и около 350 Гбит/с с двумя.
В так называемой «раздельной» (disaggregated) службе предварительного заполнения и декодирования (P/D) узел предзаполнения выгружает блоки KV в оперативную память хоста. Затем контроллер направляет их на узел декодирования, где они попадают в память HBM, пока продолжается процесс декодирования.
Результаты внутреннего тестирования
Google провела внутренние тесты в июле 2026 года с tpu-inference v0.24.0, JAX 0.10.2 и libtpu 0.0.42.1, отметив, что фактические результаты могут отличаться. Для службы P/D медианная задержка передачи KV для модели Qwen3 235B сократилась с нескольких секунд примерно до 230 мс. Среднее время до первого токена (TTFT) снизилось на 60% для модели 235B и на 90% для модели 480B при низкой нагрузке, а пиковая пропускная способность генерации токенов для модели 235B выросла на 30–70%.
Для кэширования префиксов эффективная емкость кэша увеличилась на порядок, когда веса MoE занимают большую часть HBM. Среднее TTFT снизилось до 90% для рабочих нагрузок с контекстом в 64K, пропускная способность выросла более чем на 50%, а задержка между токенами на уровне P99 уменьшилась на 30%.
Интеграции и ограничения
С PyTorch библиотека работает через TorchTPU, а с JAX — нативно. В vLLM-TorchTPU она является TPU KV-коннектором за интерфейсом KVConnector vLLM. В SGLang-TorchTPU она служит бэкендом для передачи P/D и ввода-вывода иерархического кэша. В GKE llm-d 1.0 использует её для маршрутизации на основе аффинности кэша префиксов. Интеграции с vLLM и SGLang были совместно разработаны с Inferact и RadixArk, а Google сообщает, что Meta и Wayfair оценивают эту архитектуру.
Google не публикует данные по обучению с подкреплением, а в README указано, что библиотека пока не рекомендуется для общего использования. Функции RL и многоуровневое хранение остаются экспериментальными, а все приведенные цифры являются заявленными самой компанией. В статье также проводится сравнение TPU Sync с NVIDIA Dynamo KVBM + NIXL, LMCache и Mooncake, отмечая, что их показатели пропускной способности измеряются на разных этапах: у TPU Sync это DMA PCIe хоста, а у Mooncake — сетевая передача по RoCE.
