The AI / news

Scikit-LLM : كيفية نشر خطوط معالجة كواجهة برمجة تطبيقات REST باستخدام FastAPI

Scikit-LLM : كيفية نشر خطوط معالجة كواجهة برمجة تطبيقات REST باستخدام FastAPI
3 دقيقة للقراءة

يشرح برنامج تعليمي مفصل كيفية نشر خط معالجة لتصنيف النصوص يعتمد على نموذج لغوي كبير (LLM) يعمل محليًا كواجهة برمجة تطبيقات REST. تجمع الحل بين ثلاث أدوات مفتوحة المصدر: Scikit-LLM وFastAPI وOllama، مع استخدام نموذج llama3.

يتيح Scikit-LLM دمج نموذج لغوي كبير (LLM) في خطوط معالجة متوافقة مع scikit-learn، مكتبة التعلم الآلي المرجعية في بايثون. حالة الاستخدام المعروضة هي تصنيف « بدون عينة تدريب » (zero-shot)، أي تحويل نموذج مُدرَّب مسبقًا إلى مصنف بناءً على قائمة الفئات المحتملة فقط، دون تدريب إضافي. وفقًا للمؤلف، غالبًا ما تواجه عملية نشر هذا النوع من خطوط المعالجة في الإنتاج عقبات تتمثل في واجهات برمجة تطبيقات سحابية مدفوعة وارتفاع مفاجئ في زمن الاستجابة.

لتجنب هذه القيود، تقوم الإعدادات بتوجيه Scikit-LLM إلى خادم Ollama محلي، على العنوان http://localhost:11434/v1/، بدلاً من واجهة برمجة تطبيقات تجارية. يجب تثبيت Ollama وتنزيل نموذج llama3 محليًا؛ ويشير المؤلف لهذا الغرض إلى الموقع الرسمي لـ Ollama. تم تنفيذ البرنامج التعليمي باستخدام Visual Studio Code وPython 3.11.

تدريب المصنف وتسلسله وتقديمه

يقوم الملف الأول، train.py، ببناء مصنف ZeroShotGPTClassifier مرتبط بالنموذج custom_url::llama3، ثم يضبطه على ثلاثة نصوص مثال، مع العلامات « Battery Issue » و »Positive Feedback » و »Hardware Damage ». بعد ذلك، يتم حفظ خط المعالجة في ملف scikit_llm_model.joblib، باستخدام مكتبة joblib.

الملف الثاني، app.py، يعيد تحميل الإعدادات، ويحمل خط المعالجة عند بدء التشغيل، ويحدد نقطة وصول /predict باستخدام FastAPI. تقبل نقطة الوصول هذه عدة نصوص في نفس الاستدعاء وتعيد توقعًا لكل منها. تتم إزالة المعالجة الحاجبة لـ Scikit-LLM إلى خيط منفصل، وذلك لمنع تجميد الخادم غير المتزامن. يتم تشغيل الخادم باستخدام uvicorn على العنوان 127.0.0.1:8000.

بمجرد بدء تشغيل الخادم، تكون الواجهة التفاعلية متاحة على العنوان http://127.0.0.1:8000/docs. في المثال المقدم، تم تقديم ثلاثة آراء حول هاتف: « My phone dies by noon even if I don’t use it. » و »I dropped it on the sidewalk and the glass shattered. » و »This is the best device I have ever purchased! ». التوقعات التي تم إرجاعها هي، بالترتيب، « Battery Issue » و »Hardware Damage » و »Positive Feedback ».

قيود النموذج

يذكر المؤلف أن أوزان النموذج اللغوي الكبير (LLM) لا يتم تعديلها: يتم فقط تخزين العلامات التي تم تمريرها إلى طريقة fit() وعرضها على النموذج أثناء الاستدلال، على غرار سؤال الاختيار من متعدد في أمر التوجيه (prompt). وبالتالي، يُجبر المصنف على ربط كل نص بإحدى العلامات في القائمة، بغض النظر عن المحتوى المقدم.

وفقًا للمؤلف، تجلب هذه القيود قدرًا أكبر من القدرة على التنبؤ للنموذج اللغوي الكبير، على حساب « وجهة نظر » محدودة بالفئات المحددة. أخيرًا، بفضل توافق Scikit-LLM مع كائنات وبناء جملة scikit-learn، يمكن إثراء خط المعالجة بخطوات معالجة مسبقة إضافية.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x