The AI / news

Scikit-LLM : как вывести конвейеры в REST API с помощью FastAPI

Scikit-LLM : как вывести конвейеры в REST API с помощью FastAPI
2 мин чтения

В руководстве подробно рассказывается, как представить в виде REST API конвейер классификации текста на основе большой языковой модели (LLM), работающей локально. Решение объединяет три инструмента с открытым исходным кодом: Scikit-LLM, FastAPI и Ollama, с моделью llama3.

Scikit-LLM позволяет интегрировать LLM в конвейеры, совместимые с scikit-learn, эталонной библиотекой машинного обучения на Python. Представленный вариант использования — классификация «zero-shot», то есть предобученная модель, превращенная в классификатор только на основе списка возможных категорий, без дополнительного обучения. По словам автора, промышленное внедрение такого конвейера часто сталкивается с платными облачными API и скачками задержек.

Чтобы избежать этих ограничений, конфигурация перенаправляет Scikit-LLM на локальный сервер Ollama по адресу http://localhost:11434/v1/ вместо коммерческого API. Ollama должен быть установлен, а модель llama3 загружена локально; автор ссылается для этого на официальный сайт Ollama. Руководство было выполнено с использованием Visual Studio Code и Python 3.11.

Обучить, сериализовать и обслужить классификатор

Первый файл, train.py, создает классификатор ZeroShotGPTClassifier, связанный с моделью custom_url::llama3, затем настраивает его на трех примерах текстов с метками «Battery Issue», «Positive Feedback» и «Hardware Damage». Затем конвейер сохраняется в файл scikit_llm_model.joblib с помощью библиотеки joblib.

Второй файл, app.py, перезагружает конфигурацию, загружает конвейер при запуске и определяет конечную точку /predict с помощью FastAPI. Она принимает несколько текстов в одном вызове и возвращает прогноз для каждого. Блокирующая обработка Scikit-LLM вынесена в отдельный поток, чтобы не блокировать асинхронный сервер. Сервер запускается с помощью uvicorn на 127.0.0.1:8000.

После запуска сервера интерактивный интерфейс доступен по адресу http://127.0.0.1:8000/docs. В предоставленном примере отправляются три отзыва о телефоне: «My phone dies by noon even if I don’t use it.», «I dropped it on the sidewalk and the glass shattered.» и «This is the best device I have ever purchased!». Возвращенные прогнозы, соответственно: «Battery Issue», «Hardware Damage» и «Positive Feedback».

Ограничения модели

Автор напоминает, что веса LLM не изменяются: метки, переданные методу fit(), просто сохраняются и предлагаются модели во время вывода, подобно вопросу с множественным выбором в промпте. Таким образом, классификатор вынужден относить каждый текст к одной из меток в списке, независимо от представленного содержания.

По словам автора, это ограничение обеспечивает большую предсказуемость LLM, ценой «точки зрения», ограниченной определенными категориями. Наконец, благодаря совместимости Scikit-LLM с объектами и синтаксисом scikit-learn, конвейер может быть дополнен дополнительными этапами предварительной обработки.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x