Un tutorial detalla cómo exponer como una API REST un pipeline de clasificación de texto basado en un modelo de lenguaje grande (LLM) ejecutado localmente. La solución combina tres herramientas de código abierto: Scikit-LLM, FastAPI y Ollama, con el modelo llama3.
Scikit-LLM permite integrar un LLM en pipelines compatibles con scikit-learn, la biblioteca de referencia del machine learning en Python. El caso de uso presentado es una clasificación «zero-shot», es decir, un modelo preentrenado transformado en clasificador a partir de la sola lista de las categorías posibles, sin entrenamiento adicional. Según el autor, una puesta en producción de este tipo de pipeline suele toparse con API en la nube de pago y con picos de latencia.
Para evitar estas restricciones, la configuración redirige Scikit-LLM hacia un servidor Ollama local, en la dirección http://localhost:11434/v1/, en lugar de una API comercial. Ollama debe estar instalado y el modelo llama3 descargado localmente; el autor remite para ello al sitio oficial de Ollama. El tutorial se realizó con Visual Studio Code y Python 3.11.
Entrenar, serializar y servir el clasificador
El primer archivo, train.py, construye un clasificador ZeroShotGPTClassifier asociado al modelo custom_url::llama3, luego lo ajusta sobre tres textos de ejemplo, con las etiquetas «Battery Issue», «Positive Feedback» y «Hardware Damage». El pipeline se guarda después en un archivo scikit_llm_model.joblib, mediante la biblioteca joblib.
El segundo archivo, app.py, recarga la configuración, carga el pipeline al inicio y define un punto de acceso /predict con FastAPI. Este acepta varios textos en una misma llamada y devuelve una predicción para cada uno. El procesamiento bloqueante de Scikit-LLM se delega a un hilo separado, para no bloquear el servidor asíncrono. El servidor se inicia con uvicorn en 127.0.0.1:8000.
Una vez iniciado el servidor, la interfaz interactiva es accesible en la dirección http://127.0.0.1:8000/docs. En el ejemplo proporcionado, se envían tres opiniones sobre un teléfono: «My phone dies by noon even if I don’t use it.», «I dropped it on the sidewalk and the glass shattered.» y «This is the best device I have ever purchased!». Las predicciones devueltas son, en orden, «Battery Issue», «Hardware Damage» y «Positive Feedback».
Los límites del modelo
El autor recuerda que los pesos del LLM no se modifican: las etiquetas pasadas al método fit() simplemente se almacenan y se proponen al modelo durante la inferencia, a la manera de una pregunta de opción múltiple en un prompt. El clasificador está así obligado a relacionar cada texto con una de las etiquetas de la lista, cualquiera que sea el contenido enviado.
Esta restricción aporta, según el autor, una mayor previsibilidad al LLM, a cambio de un «punto de vista» limitado a las categorías definidas. Por último, gracias a la compatibilidad de Scikit-LLM con los objetos y la sintaxis de scikit-learn, el pipeline podría enriquecerse con etapas de preprocesamiento adicionales.
