Scikit-LLM : comment exposer des pipelines en API REST avec FastAPI

Scikit-LLM : comment exposer des pipelines en API REST avec FastAPI
3 min de lecture

Un tutoriel détaille comment exposer sous forme d’API REST un pipeline de classification de texte basé sur un grand modèle de langage (LLM) exécuté localement. La solution combine trois outils open source : Scikit-LLM, FastAPI et Ollama, avec le modèle llama3.

Scikit-LLM permet d’intégrer un LLM dans des pipelines compatibles avec scikit-learn, la bibliothèque de référence du machine learning en Python. Le cas d’usage présenté est une classification « zero-shot », c’est-à-dire un modèle pré-entraîné transformé en classifieur à partir de la seule liste des catégories possibles, sans entraînement supplémentaire. Selon l’auteur, une mise en production de ce type de pipeline se heurte souvent à des API cloud payantes et à des pics de latence.

Pour éviter ces contraintes, la configuration redirige Scikit-LLM vers un serveur Ollama local, à l’adresse http://localhost:11434/v1/, au lieu d’une API commerciale. Ollama doit être installé et le modèle llama3 téléchargé en local ; l’auteur renvoie pour cela vers le site officiel d’Ollama. Le tutoriel a été réalisé avec Visual Studio Code et Python 3.11.

Entraîner, sérialiser et servir le classifieur

Le premier fichier, train.py, construit un classifieur ZeroShotGPTClassifier associé au modèle custom_url::llama3, puis l’ajuste sur trois textes d’exemple, avec les étiquettes « Battery Issue », « Positive Feedback » et « Hardware Damage ». Le pipeline est ensuite sauvegardé dans un fichier scikit_llm_model.joblib, au moyen de la bibliothèque joblib.

Le second fichier, app.py, recharge la configuration, charge le pipeline au démarrage et définit un point d’accès /predict avec FastAPI. Celui-ci accepte plusieurs textes dans un même appel et renvoie une prédiction pour chacun. Le traitement bloquant de Scikit-LLM est déporté dans un thread distinct, afin de ne pas figer le serveur asynchrone. Le serveur est lancé avec uvicorn sur 127.0.0.1:8000.

Une fois le serveur démarré, l’interface interactive est accessible à l’adresse http://127.0.0.1:8000/docs. Dans l’exemple fourni, trois avis sur un téléphone sont soumis : « My phone dies by noon even if I don’t use it. », « I dropped it on the sidewalk and the glass shattered. » et « This is the best device I have ever purchased! ». Les prédictions renvoyées sont, dans l’ordre, « Battery Issue », « Hardware Damage » et « Positive Feedback ».

Les limites du modèle

L’auteur rappelle que les poids du LLM ne sont pas modifiés : les étiquettes passées à la méthode fit() sont simplement stockées et proposées au modèle lors de l’inférence, à la manière d’une question à choix multiples dans un prompt. Le classifieur est ainsi contraint de rattacher chaque texte à l’une des étiquettes de la liste, quel que soit le contenu soumis.

Cette contrainte apporte, selon l’auteur, une plus grande prévisibilité au LLM, au prix d’un « point de vue » limité aux catégories définies. Enfin, grâce à la compatibilité de Scikit-LLM avec les objets et la syntaxe de scikit-learn, le pipeline pourrait être enrichi d’étapes de prétraitement supplémentaires.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x