Ein Tutorial zeigt detailliert, wie man eine Textklassifizierungs-Pipeline, die auf einem lokal ausgeführten großen Sprachmodell (LLM) basiert, als REST-API bereitstellt. Die Lösung kombiniert drei Open-Source-Tools: Scikit-LLM, FastAPI und Ollama, mit dem Modell llama3.
Scikit-LLM ermöglicht es, ein LLM in Pipelines zu integrieren, die mit scikit-learn, der Referenzbibliothek für maschinelles Lernen in Python, kompatibel sind. Der vorgestellte Anwendungsfall ist eine « Zero-Shot »-Klassifizierung, d.h. ein vortrainiertes Modell wird allein anhand der Liste möglicher Kategorien in einen Klassifikator umgewandelt, ohne zusätzliches Training. Laut Autor stößt eine Produktivsetzung dieser Art von Pipeline oft auf kostenpflichtige Cloud-APIs und Latenzspitzen.
Um diese Einschränkungen zu vermeiden, leitet die Konfiguration Scikit-LLM an einen lokalen Ollama-Server unter der Adresse http://localhost:11434/v1/ weiter, anstatt an eine kommerzielle API. Ollama muss installiert und das Modell llama3 lokal heruntergeladen werden; der Autor verweist dafür auf die offizielle Ollama-Website. Das Tutorial wurde mit Visual Studio Code und Python 3.11 durchgeführt.
Den Klassifikator trainieren, serialisieren und bereitstellen
Die erste Datei, train.py, baut einen ZeroShotGPTClassifier, der mit dem Modell custom_url::llama3 verknüpft ist, und passt ihn dann an drei Beispieltexte mit den Labels « Battery Issue », « Positive Feedback » und « Hardware Damage » an. Die Pipeline wird anschließend mithilfe der Bibliothek joblib in einer Datei scikit_llm_model.joblib gespeichert.
Die zweite Datei, app.py, lädt die Konfiguration neu, lädt die Pipeline beim Start und definiert einen Endpunkt /predict mit FastAPI. Dieser akzeptiert mehrere Texte in einem einzigen Aufruf und gibt für jeden eine Vorhersage zurück. Die blockierende Verarbeitung von Scikit-LLM wird in einen separaten Thread ausgelagert, um den asynchronen Server nicht zu blockieren. Der Server wird mit uvicorn auf 127.0.0.1:8000 gestartet.
Sobald der Server gestartet ist, ist die interaktive Oberfläche unter http://127.0.0.1:8000/docs erreichbar. Im bereitgestellten Beispiel werden drei Meinungen zu einem Telefon eingereicht: « My phone dies by noon even if I don’t use it. », « I dropped it on the sidewalk and the glass shattered. » und « This is the best device I have ever purchased! ». Die zurückgegebenen Vorhersagen sind in dieser Reihenfolge « Battery Issue », « Hardware Damage » und « Positive Feedback ».
Die Grenzen des Modells
Der Autor erinnert daran, dass die Gewichte des LLM nicht verändert werden: Die an die Methode fit() übergebenen Labels werden lediglich gespeichert und dem Modell während der Inferenz angeboten, ähnlich wie eine Multiple-Choice-Frage in einem Prompt. Der Klassifikator ist daher gezwungen, jeden Text einem der Labels aus der Liste zuzuordnen, unabhängig vom eingereichten Inhalt.
Diese Einschränkung bringt laut Autor eine größere Vorhersagbarkeit für das LLM mit sich, allerdings um den Preis einer auf die definierten Kategorien beschränkten « Sichtweise ». Schließlich könnte die Pipeline dank der Kompatibilität von Scikit-LLM mit den Objekten und der Syntax von scikit-learn um zusätzliche Vorverarbeitungsschritte erweitert werden.
