Um tutorial detalha como expor como uma API REST um pipeline de classificação de texto baseado num grande modelo de linguagem (LLM) executado localmente. A solução combina três ferramentas de código aberto: Scikit-LLM, FastAPI e Ollama, com o modelo llama3.
O Scikit-LLM permite integrar um LLM em pipelines compatíveis com scikit-learn, a biblioteca de referência de machine learning em Python. O caso de uso apresentado é uma classificação «zero-shot», ou seja, um modelo pré-treinado transformado num classificador a partir apenas da lista das categorias possíveis, sem treino adicional. Segundo o autor, uma implementação em produção deste tipo de pipeline depara-se frequentemente com APIs cloud pagas e picos de latência.
Para evitar estas restrições, a configuração redireciona o Scikit-LLM para um servidor Ollama local, no endereço http://localhost:11434/v1/, em vez de uma API comercial. O Ollama deve ser instalado e o modelo llama3 descarregado localmente; o autor remete para isso para o site oficial do Ollama. O tutorial foi realizado com Visual Studio Code e Python 3.11.
Treinar, serializar e servir o classificador
O primeiro ficheiro, train.py, constrói um classificador ZeroShotGPTClassifier associado ao modelo custom_url::llama3, depois ajusta-o a três textos de exemplo, com as etiquetas «Battery Issue», «Positive Feedback» e «Hardware Damage». O pipeline é depois guardado num ficheiro scikit_llm_model.joblib, por meio da biblioteca joblib.
O segundo ficheiro, app.py, recarrega a configuração, carrega o pipeline no arranque e define um ponto de acesso /predict com FastAPI. Este aceita vários textos numa mesma chamada e devolve uma previsão para cada um. O processamento bloqueante do Scikit-LLM é delegado para uma thread separada, de modo a não bloquear o servidor assíncrono. O servidor é lançado com uvicorn em 127.0.0.1:8000.
Uma vez iniciado o servidor, a interface interativa está acessível no endereço http://127.0.0.1:8000/docs. No exemplo fornecido, três opiniões sobre um telefone são submetidas: «My phone dies by noon even if I don’t use it.», «I dropped it on the sidewalk and the glass shattered.» e «This is the best device I have ever purchased!». As previsões devolvidas são, por ordem, «Battery Issue», «Hardware Damage» e «Positive Feedback».
Os limites do modelo
O autor recorda que os pesos do LLM não são alterados: as etiquetas passadas ao método fit() são simplesmente armazenadas e propostas ao modelo durante a inferência, à maneira de uma questão de escolha múltipla num prompt. O classificador é assim obrigado a associar cada texto a uma das etiquetas da lista, independentemente do conteúdo submetido.
Esta restrição traz, segundo o autor, uma maior previsibilidade ao LLM, ao preço de um «ponto de vista» limitado às categorias definidas. Por fim, graças à compatibilidade do Scikit-LLM com os objetos e a sintaxe do scikit-learn, o pipeline poderia ser enriquecido com etapas de pré-processamento adicionais.
