Un tutorial dettaglia come esporre sotto forma di API REST una pipeline di classificazione del testo basata su un grande modello linguistico (LLM) eseguito localmente. La soluzione combina tre strumenti open source: Scikit-LLM, FastAPI e Ollama, con il modello llama3.
Scikit-LLM permette di integrare un LLM in pipeline compatibili con scikit-learn, la libreria di riferimento per il machine learning in Python. Il caso d’uso presentato è una classificazione «zero-shot», ovvero un modello pre-addestrato trasformato in classificatore a partire dalla sola lista delle categorie possibili, senza addestramento aggiuntivo. Secondo l’autore, una messa in produzione di questo tipo di pipeline si scontra spesso con API cloud a pagamento e con picchi di latenza.
Per evitare questi vincoli, la configurazione reindirizza Scikit-LLM verso un server Ollama locale, all’indirizzo http://localhost:11434/v1/, invece che verso un’API commerciale. Ollama deve essere installato e il modello llama3 scaricato in locale; l’autore rimanda per questo al sito ufficiale di Ollama. Il tutorial è stato realizzato con Visual Studio Code e Python 3.11.
Addestrare, serializzare e servire il classificatore
Il primo file, train.py, costruisce un classificatore ZeroShotGPTClassifier associato al modello custom_url::llama3, poi lo adatta su tre testi di esempio, con le etichette «Battery Issue», «Positive Feedback» e «Hardware Damage». La pipeline viene quindi salvata in un file scikit_llm_model.joblib, per mezzo della libreria joblib.
Il secondo file, app.py, ricarica la configurazione, carica la pipeline all’avvio e definisce un endpoint /predict con FastAPI. Questo accetta più testi in una singola chiamata e restituisce una previsione per ciascuno. L’elaborazione bloccante di Scikit-LLM viene spostata in un thread separato, per non bloccare il server asincrono. Il server viene avviato con uvicorn su 127.0.0.1:8000.
Una volta avviato il server, l’interfaccia interattiva è accessibile all’indirizzo http://127.0.0.1:8000/docs. Nell’esempio fornito, vengono sottoposte tre recensioni su un telefono: «My phone dies by noon even if I don’t use it.», «I dropped it on the sidewalk and the glass shattered.» e «This is the best device I have ever purchased!». Le previsioni restituite sono, nell’ordine, «Battery Issue», «Hardware Damage» e «Positive Feedback».
I limiti del modello
L’autore ricorda che i pesi dell’LLM non vengono modificati: le etichette passate al metodo fit() vengono semplicemente memorizzate e proposte al modello durante l’inferenza, alla stregua di una domanda a scelta multipla in un prompt. Il classificatore è quindi costretto ad associare ogni testo a una delle etichette della lista, indipendentemente dal contenuto sottoposto.
Questo vincolo porta, secondo l’autore, a una maggiore prevedibilità dell’LLM, al prezzo di un «punto di vista» limitato alle categorie definite. Infine, grazie alla compatibilità di Scikit-LLM con gli oggetti e la sintassi di scikit-learn, la pipeline potrebbe essere arricchita con ulteriori fasi di pre-elaborazione.
