Buoyant, das Unternehmen hinter Linkerd, hat Kinference veröffentlicht, ein Open-Source-Projekt zum Aufbau von Inferenzplattformen auf Kubernetes. Vor einem Satz von vLLM-Servern platziert, entscheidet es für jede Anfrage, an welchen Server sie gesendet wird. Das Projekt wird unter der Apache-2.0-Lizenz auf GitHub in der Version v0.1.0-alpha.7 bereitgestellt.
- Buoyant veröffentlicht Kinference, einen Open-Source-Controller für Inferenz auf Kubernetes und vLLM.
- Kinference wählt für jede Anfrage den passenden vLLM-Server und wendet Routing-Richtlinien an.
- Laut Buoyant senkt es die mediane TTFT bei gemeinsamem Präfix von 6,88 s auf 0,31 s.
- Die Ergebnisse sind selbstberichtet, und das Projekt ist noch in der Alpha-Phase.
Eine Steuerungsschicht über vLLM
Kinference kombiniert Kubernetes, die Container-Orchestrierungsplattform, und vLLM, die Engine zur Ausführung von Sprachmodellen. Laut FAQ von Buoyant bildet vLLM die Datenebene, während Kinference die Steuerungsebene darstellt. In einer einzigen Schicht wendet es Routing-Richtlinien, Token-Durchsatzlimits, einen Lastenausgleich unter Berücksichtigung des KV-Cache – also des Speichers für bereits durchgeführte Berechnungen – sowie mandantenspezifische Metriken an.
Das System besteht aus zwei Komponenten: einem Traffic-Gateway und einem Inference Manager. Letzterer bietet eine gRPC-Schnittstelle, empfängt eine Anfrage und gibt den gewählten Endpunkt sowie gegebenenfalls modifizierte Anfragedaten zurück. Es funktioniert mit einem Proxy wie dem Buoyant Gateway. Kinference überwacht KV-Cache-Ereignisse und Engine-Metriken und nutzt NVIDIAs dynamo-kv-router-Crate zur Verarbeitung dieser Ereignisse. Seine Konfiguration basiert auf fünf Kubernetes-Ressourcen: GatewayBackend, InferencePolicy, InferencePool, InferenceProvider und InferenceWorkerSet.
Inferenzrichtlinien sind deklarative Regeln, die festlegen, wie jede Anfrage geroutet oder abgelehnt wird. Sie können auf dem Mandanten, dem angefragten Modell, dem Zustand der GPU-Pools oder semantischen Labels basieren. Die Projektwebsite zeigt mehrere Beispiele, etwa das Senden einfacher Anfragen an ein kleineres Modell oder das Ausweichen auf einen Cloud-Anbieter wie Bedrock, wenn ein Server mehr als 2 ausstehende Anfragen hat. Die Richtlinien werden in Git gespeichert und können offline mit dem Kommandozeilen-Tool kinfctl validiert werden.
Von Buoyant gemessene Ergebnisse
Buoyant hat Kinference mit dem einfachen Kubernetes-Lastenausgleich verglichen. Jede Konfiguration nutzte drei vLLM-0.31.0-Pods auf jeweils einer L40S-GPU mit dem Modell Qwen3.8-27B-FP8. Bei Traffic mit gemeinsamem Präfix sank die mediane Latenz bis zum ersten Token (TTFT) laut Buoyant von 6,88 s auf 0,31 s, ein Rückgang von etwa 95 %. Ohne gemeinsames Präfix lagen die Werte bei 6,92 s gegenüber 6,83 s, laut dem Anbieter ohne signifikanten Unterschied.
In einem Kapazitätstest erreichte der nutzbare Durchsatz, gemessen in Anfragen pro Minute, die ein TTFT-Ziel einhielten, 103,0 gegenüber 14,0 Anfragen/Minute beim Traffic mit gemeinsamem Präfix, also etwa das 7,4-fache. Diese Zahlen sind selbstberichtet. Der Vergleichsmaßstab ist ein zufälliges Routing, kein anderer Cache-bewusster Router wie llm-d oder Dynamo. Buoyant merkt an, dass seine Schwellenwerte von 8 s und 4 s eher für Offline-Agenten als für Chatbots geeignet sind. Die veröffentlichte Vergleichstabelle nennt als Unterscheidungsmerkmal von Kinference Governance, also Richtlinien, Modellaliase, Fallbacks auf Provider und mandantenspezifische Abrechnung, während llm-d und Dynamo als leistungsfähiger im reinen Dienst beschrieben werden.
Das Projekt befindet sich noch in der Alpha-Phase. Durchsatzlimitierung, Classifier und die Unterstützung der Anthropic-API sind noch nicht verfügbar.
