NVIDIA hat zwei Projekte als Open Source veröffentlicht, die dazu dienen, verwaltetes Kubernetes auf einer GPU-Infrastruktur zu betreiben: NVIDIA Kubernetes Engine (NVKE) und NVIDIA Kubernetes Recipes (NVKR). Kürzlich als Komponenten der Plattform NVIDIA DSX AI Factory angekündigt, werden diese beiden Softwarelösungen unter der Apache-2.0-Lizenz bereitgestellt und befinden sich in einer öffentlichen Vorabversion.
Kubernetes ist ein Werkzeug, das containerisierte Anwendungen über mehrere Server hinweg orchestriert. NVKE bildet dessen Steuerungsebene für einen verwalteten Kubernetes-Dienst. Wird es von einer ‘AI Factory’ auf der eigenen Grafikprozessor-(GPU)-Infrastruktur installiert, stellt es eine REST-API und Controller auf einem Management-Cluster bereit. Kunden erhalten Standard-Cluster, die sie mit dem Werkzeug kubectl nutzen, während der Betreiber sie über die NVKE-API oder die Kommandozeile nvkectl verwaltet.
Das Projekt-Repository beschreibt NVKE als ‘eine selbst-hosting-Fabrik für Kubernetes-Cluster’ und nicht als Distribution. Die Software baut auf Upstream-Kubernetes, auf kubeadm und auf Cluster API auf und ist in Go geschrieben. Zur Laufzeit ist sie nicht von NVKR abhängig.
NVKR ist seinerseits ein auf deklarativen Definitionen basierendes Build-System. Es erzeugt ausführbare Dateien, Container-Images, Helm-Charts und Node-Images für die Architekturen amd64 und arm64. Seine ‘Recipes’ definieren validierte Kombinationen aus Softwareversionen und GPU-Generationen. Gehostete Workflows verknüpfen damit Signaturen, SBOMs und Herkunftsinformationen, die an per Digest festgepinnte OCI-Referenzen gebunden sind. NVKR kann auch Artefakte für andere Kubernetes-Managementsysteme generieren. Das Repository erwähnt noch keine qualifizierte Version.
Eine Fünf-Schritte-Bereitstellung
Laut dem von NVIDIA veröffentlichten technischen Blogbeitrag erfolgt die Installation in fünf Schritten. Der Befehl nvkectl bootstrap site startet zunächst einen temporären Single-Node-kind-Cluster auf einem Bootstrap-Host. NVKE fordert dann drei Server von NICo an, die diese aus dem Node-Image starten, woraufhin der temporäre Cluster gelöscht wird. NICo verwaltet den Lebenszyklus der Bare-Metal-Hardware, und CAPNICo, ein Cluster-API-Provider, verbindet NICo mit NVKE. Die Betreiber veröffentlichen anschließend ein Machine-Image, eine Cluster-Version und eine Node-Pool-Version, die Kunden anhand ihres Namens auswählen.
Jeder Kundencluster verfügt über seine eigene Steuerungsebene, seine eigene etcd-Datenbank und seine eigenen Node-Pools. NVKE installiert dort OVN-Kubernetes und NodeLocal DNSCache. Ein Node muss eine bestätigte SPIFFE-Identität vorweisen, bevor er seine Verbindungsdaten erhält, und die README-Datei gibt an, dass SPIRE für diese Bestätigung auf ein TPM zurückgreift. Die Verschlüsselung von etcd ist pro Cluster verfügbar, und ein auf OpenTelemetry basierender Helm-Chart exportiert Logs, Metriken und Traces über OTLP. Drei ergänzende Projekte integrieren sich in die Kundencluster: AI Cluster Runtime (AICR) für die GPU-Umgebung, NodeWright für Node-Pakete und NVSentinel für die Automatisierung von Reparaturen.
Zertifizierung und Grenzen der Vorabversion
NVKE wird als Certified Kubernetes AI Platform und Certified Kubernetes Installer vorgestellt, mit Konformitätstests für Kubernetes 1.36. Es wurden noch keine Durchsatz-Benchmarks oder Bereitstellungszeiten veröffentlicht. Nach Abschluss der Installation antwortet die NVKE-API über einfaches HTTP auf Port 30080, wobei die Authentifizierung deaktiviert ist, und es ist kein Verfahren für Updates oder Backups der Management-Ebene dokumentiert.
Mehrere Akteure integrieren die beiden Projekte bereits. Die NVIDIA-Cloud-Partner Firmus und SK Telecom integrieren sie in ihre AI Factories, während Mirantis, Rafay, Spectro Cloud, OpenNebula Systems und vCluster Komponenten zu ihren verwalteten Kubernetes-Angeboten hinzufügen. Netris aktiviert NVKE für seine Netzwerkautomatisierung. Eine lokale Evaluierung erfordert mindestens 6 CPUs, 12 GiB freien Arbeitsspeicher, 100 GiB Festplattenspeicher, Docker und Unterstützung für ein virtuelles TPM, jedoch keine GPU und kein NVIDIA-Konto. Eine echte Installation benötigt eine NICo-Bereitstellung mit registrierten Kapazitäten, einen Build-Host mit KVM, einen HTTP-Server und eine Container-Registry.
