Scikit-LLM : hoe je pipelines als REST API beschikbaar stelt met FastAPI

Scikit-LLM : hoe je pipelines als REST API beschikbaar stelt met FastAPI
2 min lezen

Een tutorial legt gedetailleerd uit hoe je een tekstclassificatiepipeline, gebaseerd op een groot taalmodel (LLM) dat lokaal draait, als een REST API beschikbaar kunt stellen. De oplossing combineert drie open-source tools: Scikit-LLM, FastAPI en Ollama, met het model llama3.

Scikit-LLM maakt het mogelijk om een LLM te integreren in pipelines die compatibel zijn met scikit-learn, de referentiebibliotheek voor machine learning in Python. De gepresenteerde use-case is een ‘zero-shot’-classificatie, wat betekent dat een voorgetraind model wordt omgevormd tot een classifier op basis van alleen de lijst met mogelijke categorieën, zonder aanvullende training. Volgens de auteur stuit een productie-implementatie van dit type pipeline vaak op betaalde cloud-API’s en pieken in latentie.

Om deze beperkingen te omzeilen, wijst de configuratie Scikit-LLM naar een lokale Ollama-server, op het adres http://localhost:11434/v1/, in plaats van naar een commerciële API. Ollama moet geïnstalleerd zijn en het model llama3 moet lokaal gedownload worden; de auteur verwijst hiervoor naar de officiële website van Ollama. De tutorial is uitgevoerd met Visual Studio Code en Python 3.11.

De classifier trainen, serialiseren en beschikbaar stellen

Het eerste bestand, train.py, bouwt een ZeroShotGPTClassifier gekoppeld aan het model custom_url::llama3, past deze vervolgens aan op drie voorbeeldteksten, met de labels ‘Battery Issue’, ‘Positive Feedback’ en ‘Hardware Damage’. De pipeline wordt daarna opgeslagen in een bestand scikit_llm_model.joblib, met behulp van de joblib-bibliotheek.

Het tweede bestand, app.py, laadt de configuratie opnieuw, laadt de pipeline bij opstarten en definieert een eindpunt /predict met FastAPI. Dit accepteert meerdere teksten in één aanroep en retourneert voor elk een voorspelling. De blokkerende verwerking van Scikit-LLM wordt afgehandeld in een aparte thread, om de asynchrone server niet te laten vastlopen. De server wordt gestart met uvicorn op 127.0.0.1:8000.

Zodra de server draait, is de interactieve interface toegankelijk op het adres http://127.0.0.1:8000/docs. In het gegeven voorbeeld worden drie beoordelingen van een telefoon ingediend: ‘My phone dies by noon even if I don’t use it.’, ‘I dropped it on the sidewalk and the glass shattered.’ en ‘This is the best device I have ever purchased!’. De geretourneerde voorspellingen zijn, in deze volgorde, ‘Battery Issue’, ‘Hardware Damage’ en ‘Positive Feedback’.

De beperkingen van het model

De auteur herinnert eraan dat de gewichten van het LLM niet worden aangepast: de labels die aan de fit()-methode worden doorgegeven, worden simpelweg opgeslagen en aan het model gepresenteerd tijdens de inferentie, vergelijkbaar met een meerkeuzevraag in een prompt. De classifier is dus verplicht om elke tekst te koppelen aan een van de labels uit de lijst, ongeacht de ingediende inhoud.

Deze beperking zorgt volgens de auteur voor meer voorspelbaarheid van het LLM, ten koste van een ‘gezichtspunt’ dat beperkt is tot de gedefinieerde categorieën. Tot slot, dankzij de compatibiliteit van Scikit-LLM met de objecten en syntax van scikit-learn, zou de pipeline kunnen worden uitgebreid met aanvullende voorbewerkingsstappen.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x