NVIDIA выпустила с открытым исходным кодом два проекта, предназначенных для работы управляемого Kubernetes на GPU-инфраструктуре: NVIDIA Kubernetes Engine (NVKE) и NVIDIA Kubernetes Recipes (NVKR). Недавно анонсированные как компоненты платформы NVIDIA DSX AI Factory, оба программных продукта распространяются под лицензией Apache 2.0 и находятся в стадии публичной предварительной версии.
Kubernetes — это инструмент для организации контейнеризованных приложений на нескольких серверах. NVKE представляет собой плоскость управления для управляемого сервиса Kubernetes. Установленный «AI factory» на собственной инфраструктуре графических процессоров (GPU), он предоставляет REST API и контроллеры в кластере управления. Клиенты получают стандартные кластеры, которые используют с помощью инструмента kubectl, в то время как оператор управляет ими через API NVKE или командную строку nvkectl.
Репозиторий проекта описывает NVKE как «самостоятельную фабрику для кластеров Kubernetes», а не как дистрибутив. Программное обеспечение основано на исходном Kubernetes, kubeadm и Cluster API и написано на Go. Оно не зависит во время выполнения от NVKR.
NVKR, в свою очередь, представляет собой систему сборки, основанную на декларативных определениях. Он создает исполняемые файлы, контейнерные образы, чарты Helm и образы узлов для архитектур amd64 и arm64. Его «рецепты» определяют проверенные комбинации версий программного обеспечения и поколений GPU. Хостированные рабочие процессы связывают с ними подписи, SBOM и информацию о происхождении, прикрепленные к OCI-ссылкам, зафиксированным по дайджесту. NVKR также может генерировать артефакты для других систем управления Kubernetes. В репозитории пока не упоминается ни одна квалифицированная версия.
Пятиэтапное развертывание
Согласно техническому сообщению, опубликованному NVIDIA, установка проходит в пять этапов. Команда nvkectl bootstrap site сначала запускает временный однодосковый кластер kind на хосте начальной загрузки. Затем NVKE запрашивает три сервера у NICo, который запускает их из образа узла, после чего временный кластер удаляется. NICo управляет жизненным циклом «голого» железа (bare metal), а CAPNICo, провайдер Cluster API, связывает NICo с NVKE. Затем операторы публикуют образ машины, версию кластера и версию пула узлов, которые клиенты выбирают по имени.
Каждый клиентский кластер имеет собственную плоскость управления, базу данных etcd и пулы узлов. NVKE устанавливает в них OVN-Kubernetes и NodeLocal DNSCache. Узел должен предъявить аттестованную идентификацию SPIFFE, прежде чем получит учетные данные для подключения, и в README указано, что SPIRE полагается на TPM для этой аттестации. Шифрование etcd доступно для каждого кластера, а чарт Helm на основе OpenTelemetry экспортирует логи, метрики и трассировки через OTLP. Три дополнительных проекта интегрируются в клиентские кластеры: AI Cluster Runtime (AICR) для GPU-окружения, NodeWright для пакетов узлов и NVSentinel для автоматизации исправлений.
Сертификация и ограничения предварительной версии
NVKE представлен как сертифицированный Certified Kubernetes AI Platform и Certified Kubernetes Installer, с тестами на соответствие для Kubernetes 1.36. Никаких тестов производительности или времени выделения ресурсов не опубликовано. После завершения установки API NVKE отвечает по простому HTTP на порту 30080 с отключенной аутентификацией, и не задокументирована ни одна процедура обновления или резервного копирования плоскости управления.
Несколько игроков уже интегрируют оба проекта. Партнеры NVIDIA по облачным технологиям Firmus и SK Telecom включают их в свои AI factories, в то время как Mirantis, Rafay, Spectro Cloud, OpenNebula Systems и vCluster добавляют компоненты в свои предложения по управляемому Kubernetes. Netris активирует NVKE для своей сетевой автоматизации. Для локальной оценки требуется минимум 6 процессоров, 12 ГБ свободной памяти, 100 ГБ дискового пространства, Docker и поддержка виртуального TPM, без GPU и учетной записи NVIDIA. Для реальной установки требуется развертывание NICo с зарегистрированными мощностями, хост сборки с KVM, HTTP-сервер и реестр контейнеров.
