Scikit-LLM : como expor pipelines em API REST com FastAPI

Scikit-LLM : como expor pipelines em API REST com FastAPI
2 min de leitura

Um tutorial detalha como expor como uma API REST um pipeline de classificação de texto baseado num grande modelo de linguagem (LLM) executado localmente. A solução combina três ferramentas de código aberto: Scikit-LLM, FastAPI e Ollama, com o modelo llama3.

O Scikit-LLM permite integrar um LLM em pipelines compatíveis com scikit-learn, a biblioteca de referência de machine learning em Python. O caso de uso apresentado é uma classificação «zero-shot», ou seja, um modelo pré-treinado transformado num classificador a partir apenas da lista das categorias possíveis, sem treino adicional. Segundo o autor, uma implementação em produção deste tipo de pipeline depara-se frequentemente com APIs cloud pagas e picos de latência.

Para evitar estas restrições, a configuração redireciona o Scikit-LLM para um servidor Ollama local, no endereço http://localhost:11434/v1/, em vez de uma API comercial. O Ollama deve ser instalado e o modelo llama3 descarregado localmente; o autor remete para isso para o site oficial do Ollama. O tutorial foi realizado com Visual Studio Code e Python 3.11.

Treinar, serializar e servir o classificador

O primeiro ficheiro, train.py, constrói um classificador ZeroShotGPTClassifier associado ao modelo custom_url::llama3, depois ajusta-o a três textos de exemplo, com as etiquetas «Battery Issue», «Positive Feedback» e «Hardware Damage». O pipeline é depois guardado num ficheiro scikit_llm_model.joblib, por meio da biblioteca joblib.

O segundo ficheiro, app.py, recarrega a configuração, carrega o pipeline no arranque e define um ponto de acesso /predict com FastAPI. Este aceita vários textos numa mesma chamada e devolve uma previsão para cada um. O processamento bloqueante do Scikit-LLM é delegado para uma thread separada, de modo a não bloquear o servidor assíncrono. O servidor é lançado com uvicorn em 127.0.0.1:8000.

Uma vez iniciado o servidor, a interface interativa está acessível no endereço http://127.0.0.1:8000/docs. No exemplo fornecido, três opiniões sobre um telefone são submetidas: «My phone dies by noon even if I don’t use it.», «I dropped it on the sidewalk and the glass shattered.» e «This is the best device I have ever purchased!». As previsões devolvidas são, por ordem, «Battery Issue», «Hardware Damage» e «Positive Feedback».

Os limites do modelo

O autor recorda que os pesos do LLM não são alterados: as etiquetas passadas ao método fit() são simplesmente armazenadas e propostas ao modelo durante a inferência, à maneira de uma questão de escolha múltipla num prompt. O classificador é assim obrigado a associar cada texto a uma das etiquetas da lista, independentemente do conteúdo submetido.

Esta restrição traz, segundo o autor, uma maior previsibilidade ao LLM, ao preço de um «ponto de vista» limitado às categorias definidas. Por fim, graças à compatibilidade do Scikit-LLM com os objetos e a sintaxe do scikit-learn, o pipeline poderia ser enriquecido com etapas de pré-processamento adicionais.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x