Buoyant، الشركة التي طورت Linkerd، أطلقت Kinference، وهو مشروع مفتوح المصدر يهدف إلى بناء منصات استدلال على Kubernetes. عند وضعه أمام مجموعة من خوادم vLLM، يقرر لكل طلب إلى أي خادم سيتم إرساله. يتم توزيع المشروع تحت ترخيص Apache 2.0 على GitHub، في نسخته v0.1.0-alpha.7.
طبقة تحكم فوق vLLM
يجمع Kinference بين Kubernetes، منصة تنظيم الحاويات، وvLLM، المحرك الذي يشغل نماذج اللغة. وفقاً للأسئلة الشائعة من Buoyant، يشكل vLLM مستوى البيانات، بينما يقوم Kinference بدور مستوى التحكم. في نفس الطبقة، يطبق سياسات التوجيه، وحدود معدل نقل الرموز، وتوزيع الحمل الذي يأخذ في الاعتبار ذاكرة التخزين المؤقت KV، أي الذاكرة التي تحتفظ بالحسابات التي تم إجراؤها بالفعل، بالإضافة إلى المقاييس لكل مستأجر.
يتضمن النظام عنصرين: بوابة مرور ومدير استدلال. الأخير يعرض واجهة gRPC، يستقبل طلباً ويعيد نقطة النهاية المختارة، بالإضافة إلى جسم الطلب المعدل إن وجد. يعمل مع وكيل، مثل Buoyant Gateway. يراقب Kinference أحداث ذاكرة التخزين المؤقت KV ومقاييس المحرك، ويعتمد على مكتبة dynamo-kv-router من NVIDIA لمعالجة هذه الأحداث. يعتمد تكوينه على خمسة موارد في Kubernetes: GatewayBackend، وInferencePolicy، وInferencePool، وInferenceProvider، وInferenceWorkerSet.
سياسات الاستدلال هي قواعد تصريحية تحدد كيفية توجيه كل طلب أو رفضه. يمكنها الاعتماد على المستأجر، أو النموذج المطلوب، أو حالة مجموعات معالجات الرسوميات GPU، أو العلامات الدلالية. يقدم موقع المشروع عدة أمثلة، مثل إرسال الطلبات البسيطة إلى نموذج أصغر، أو اللجوء إلى موفر سحابي مثل Bedrock عندما يكون لدى الخادم أكثر من طلبين في الانتظار. يتم تخزين السياسات في git ويمكن التحقق منها دون اتصال باستخدام أداة سطر الأوامر kinfctl.
نتائج تم قياسها من قبل Buoyant
قارنت Buoyant أداء Kinference مع موازنة الحمل البسيطة لـ Kubernetes. استخدم كل إعداد ثلاث حاويات vLLM 0.31.0، كل منها على معالج GPU من نوع L40S، مع النموذج Qwen3.8-27B-FP8. على حركة مرور تشارك نفس البادئة، انخفض زمن الوصول الوسيط قبل الرمز الأول (TTFT)، وفقاً لـ Buoyant، من 6.88 ثانية إلى 0.31 ثانية، أي انخفاض بنحو 95%. بدون بادئة مشتركة، كانت الأرقام 6.92 ثانية مقابل 6.83 ثانية، دون فرق كبير وفقاً للناشر.
خلال اختبار السعة، بلغ معدل النقل الفعال، المقاس بعدد الطلبات في الدقيقة التي تلبي هدف TTFT، 103.0 مقابل 14.0 طلب/دقيقة على حركة المرور ذات البادئة المشتركة، أي أعلى بحوالي 7.4 مرة. هذه الأرقام معلنة ذاتياً. المرجع هو التوجيه العشوائي، وليس جهاز توجيه آخر يأخذ ذاكرة التخزين المؤقت في الاعتبار، مثل llm-d أو Dynamo. وتوضح Buoyant أيضاً أن عتباتها البالغة 8 ثوانٍ و4 ثوانٍ تناسب الوكلاء غير المتصلين أكثر من روبوتات الدردشة. يوضح الجدول المقارن المنشور مع المقالة أن الجانب المميز لـ Kinference هو الحوكمة، أي السياسات، وأسماء النماذج المستعارة، والتراجع إلى المزودين، والمحاسبة لكل مستأجر، بينما يُوصف llm-d وDynamo بأنهما أكثر كفاءة في الخدمة الأساسية.
المشروع لا يزال في مرحلة ألفا. لم يتم بعد تقديم تحديد معدل النقل، والمصنفات، ودعم واجهة برمجة تطبيقات Anthropic.
