Buoyant, het bedrijf achter de ontwikkeling van Linkerd, heeft Kinference uitgebracht, een open source project voor het bouwen van inferentieplatforms op Kubernetes. Geplaatst voor een reeks vLLM-servers, beslist het voor elke aanvraag naar welke server deze wordt gestuurd. Het project wordt onder de Apache 2.0-licentie gedistribueerd op GitHub, in versie v0.1.0-alpha.7.
- Buoyant lanceert Kinference, een open source controleplan voor inferentie op Kubernetes en vLLM.
- Kinference kiest per aanvraag de vLLM-server en past routeringsbeleid, tokenlimieten en metrieken per tenant toe.
- Volgens Buoyant daalt de TTFT met gedeeld voorvoegsel met ongeveer 95%, en is de nuttige doorvoer 7,4 keer hoger, al zijn die cijfers zelfgerapporteerd.
- Het project is nog alfa, en snelheidsbeperking, classificatoren en ondersteuning voor de Anthropic API ontbreken nog.
Een controlelaag bovenop vLLM
Kinference combineert Kubernetes, het containerorchestratieplatform, en vLLM, de engine die taalmodelleert. Volgens de FAQ van Buoyant vormt vLLM het dataplan, terwijl Kinference de rol van controleplan vervult. In dezelfde laag past het routeringsbeleid toe, token-snelheidslimieten, een belastingverdeling die rekening houdt met de KV-cache, dat wil zeggen het geheugen dat reeds uitgevoerde berekeningen vasthoudt, en metrische gegevens per tenant.
Het systeem bestaat uit twee elementen: een verkeersgateway en een inferentiebeheerder. De laatste stelt een gRPC-interface bloot, ontvangt een aanvraag en retourneert het gekozen eindpunt, evenals de eventueel aangepaste aanvraagbody. Het werkt met een proxy, zoals de Buoyant Gateway. Kinference houdt gebeurtenissen in de KV-cache en metrische gegevens van de engine in de gaten, en maakt gebruik van de dynamo-kv-router van NVIDIA om deze gebeurtenissen te verwerken. De configuratie is gebaseerd op vijf Kubernetes-bronnen: GatewayBackend, InferencePolicy, InferencePool, InferenceProvider en InferenceWorkerSet.
Inferentiebeleid zijn declaratieve regels die specificeren hoe elke aanvraag wordt gerouteerd of afgewezen. Ze kunnen gebaseerd zijn op de tenant, het gevraagde model, de status van GPU-pools of semantische labels. De projectwebsite geeft verschillende voorbeelden, zoals het sturen van eenvoudige aanvragen naar een kleiner model, of het gebruik van een cloudprovider zoals Bedrock wanneer een server meer dan 2 aanvragen in de wachtrij heeft. Het beleid wordt opgeslagen in git en kan offline gevalideerd worden met het commandoregelprogramma kinfctl.
Resultaten gemeten door Buoyant
Buoyant heeft Kinference vergeleken met een eenvoudige belastingverdeling van Kubernetes. Elke configuratie gebruikte drie vLLM 0.31.0 pods, elk op een GPU L40S, met het model Qwen3.8-27B-FP8. Bij verkeer met een gedeeld voorvoegsel daalt de mediane latentie voor de eerste token (TTFT) volgens Buoyant van 6,88 s naar 0,31 s, een daling van ongeveer 95%. Zonder gedeeld voorvoegsel zijn de cijfers 6,92 s tegen 6,83 s, zonder significant verschil volgens de uitgever.
Tijdens een capaciteitstest bereikt het nuttige doorvoer, gemeten in aanvragen per minuut die voldoen aan een TTFT-doel, 103,0 tegen 14,0 req/min voor het verkeer met gedeeld voorvoegsel, ongeveer 7,4 keer meer. Deze cijfers zijn zelfgerapporteerd. De referentie is een willekeurige routering, en niet een andere router die rekening houdt met de cache, zoals llm-d of Dynamo. Buoyant preciseert verder dat zijn drempels van 8 s en 4 s beter geschikt zijn voor offline agents dan voor chatbots. De vergelijkingstabel gepubliceerd met het artikel presenteert het onderscheidende kenmerk van Kinference als governance, namelijk beleid, modelaliassen, fallback naar providers en tenantaccounting, terwijl llm-d en Dynamo worden beschreven als beter presterend op ruwe service.
Het project bevindt zich nog in de alfafase. Snelheidsbeperking, classificatoren en ondersteuning voor de Anthropic API zijn nog niet geleverd.
