Buoyant, компания, разрабатывающая Linkerd, выпустила Kinference, проект с открытым исходным кодом, предназначенный для создания платформ вывода на Kubernetes. Расположенный перед набором серверов vLLM, он решает для каждого запроса, на какой сервер он будет отправлен. Проект распространяется под лицензией Apache 2.0 на GitHub в версии v0.1.0-alpha.7.
Слой контроля поверх vLLM
Kinference объединяет Kubernetes, платформу оркестрации контейнеров, и vLLM, движок для запуска языковых моделей. Согласно FAQ от Buoyant, vLLM представляет собой плоскость данных, в то время как Kinference выполняет роль плоскости управления. На одном уровне он применяет политики маршрутизации, ограничения пропускной способности в токенах, балансировку нагрузки с учетом KV-кэша, то есть памяти, хранящей уже выполненные вычисления, а также метрики на арендатора.
Система состоит из двух элементов: шлюза трафика и менеджера вывода. Последний предоставляет интерфейс gRPC, принимает запрос и возвращает выбранную конечную точку, а также, возможно, измененное тело запроса. Он работает с прокси, таким как Buoyant Gateway. Kinference отслеживает события KV-кэша и метрики движка, используя для обработки этих событий крейт dynamo-kv-router от NVIDIA. Его конфигурация основана на пяти ресурсах Kubernetes: GatewayBackend, InferencePolicy, InferencePool, InferenceProvider и InferenceWorkerSet.
Политики вывода — это декларативные правила, определяющие, как каждый запрос маршрутизируется или отклоняется. Они могут основываться на арендаторе, запрашиваемой модели, состоянии пулов GPU или семантических метках. На сайте проекта приведено несколько примеров, таких как отправка простых запросов на меньшую модель или использование облачного провайдера вроде Bedrock, когда на сервере находится более 2 ожидающих запросов. Политики хранятся в git и могут быть проверены офлайн с помощью инструмента командной строки kinfctl.
Результаты, измеренные Buoyant
Buoyant сравнила Kinference с простой балансировкой нагрузки Kubernetes. Каждая конфигурация использовала три пода vLLM 0.31.0, каждый на GPU L40S, с моделью Qwen3.8-27B-FP8. При трафике с общим префиксом медианная задержка до первого токена (TTFT), по данным Buoyant, снижается с 6,88 с до 0,31 с, то есть примерно на 95%. Без общего префикса показатели составляют 6,92 с против 6,83 с, без существенной разницы, по словам издателя.
В тесте на пропускную способность полезная пропускная способность, измеряемая в запросах в минуту, соответствующих целевому TTFT, достигает 103,0 против 14,0 запр./мин для трафика с общим префиксом, то есть примерно в 7,4 раза больше. Эти цифры являются самоотчетными. В качестве эталона используется случайная маршрутизация, а не другой маршрутизатор, учитывающий кэш, такой как llm-d или Dynamo. Buoyant также уточняет, что ее пороги в 8 с и 4 с больше подходят для автономных агентов, чем для чат-ботов. Сравнительная таблица, опубликованная со статьей, представляет отличительную особенность Kinference как управление, а именно политики, псевдонимы моделей, переход на провайдеры и учет по арендаторам, в то время как llm-d и Dynamo описываются как более производительные в плане базового обслуживания.
Проект остается на альфа-стадии. Ограничение пропускной способности, классификаторы и поддержка API Anthropic еще не реализованы.
