Scikit-LLM:FastAPIでパイプラインをREST APIとして公開する方法

Scikit-LLM:FastAPIでパイプラインをREST APIとして公開する方法
1 分の読書

ローカルで実行される大規模言語モデル(LLM)をベースとしたテキスト分類パイプラインをREST APIとして公開する方法について詳述したチュートリアルが公開されています。 このソリューションは、Scikit-LLM、FastAPI、Ollamaという3つのオープンソースツールと、モデルllama3を組み合わせたものです。

Scikit-LLMは、Pythonの機械学習における代表的なライブラリであるscikit-learnと互換性のあるパイプラインにLLMを統合することを可能にします。ここで紹介されているユースケースは「ゼロショット」分類、つまり追加の学習なしに、可能なカテゴリのリストのみから事前学習済みモデルを分類器に変換するものです。著者によれば、この種のパイプラインを本番環境に導入する際には、有料のクラウドAPIとレイテンシーの急上昇がしばしば障壁となるとのことです。

これらの制約を回避するため、この構成ではScikit-LLMを商用APIの代わりに、ローカルのOllamaサーバー(アドレス http://localhost:11434/v1/)に向けます。Ollamaをインストールし、モデルllama3をローカルにダウンロードする必要があります。著者はこの手順について、Ollamaの公式サイトを参照するよう案内しています。このチュートリアルはVisual Studio CodeとPython 3.11を使用して作成されました。

分類器の学習、シリアライズ、提供

最初のファイルであるtrain.pyは、カスタムURL::llama3モデルに関連付けられたZeroShotGPTClassifier分類器を構築し、その後、「Battery Issue」、「Positive Feedback」、「Hardware Damage」というラベルを持つ3つのサンプルテキストに対して調整を行います。次に、joblibライブラリを使用して、パイプラインをscikit_llm_model.joblibファイルに保存します。

2番目のファイルであるapp.pyは、設定を再読み込みし、起動時にパイプラインをロードし、FastAPIで/predictエンドポイントを定義します。このエンドポイントは、1回の呼び出しで複数のテキストを受け入れ、それぞれに対して予測を返します。Scikit-LLMのブロッキング処理は、非同期サーバーをフリーズさせないように、別のスレッドに委譲されます。サーバーはuvicornを使用して127.0.0.1:8000で起動されます。

サーバーが起動すると、インタラクティブなインターフェースがhttp://127.0.0.1:8000/docsで利用可能になります。提供されている例では、電話に関する3つのレビュー「My phone dies by noon even if I don’t use it.」、「I dropped it on the sidewalk and the glass shattered.」、「This is the best device I have ever purchased!」が送信されています。返される予測は、順に「Battery Issue」、「Hardware Damage」、「Positive Feedback」です。

モデルの限界

著者は、LLMの重みは変更されていないことを指摘しています。fit()メソッドに渡されたラベルは単に保存され、推論時にモデルに提示されるだけであり、プロンプト内の多肢選択問題のようなものです。したがって、分類器は、提出された内容に関わらず、各テキストをリスト内のいずれかのラベルに関連付けるように制約されます。

著者によれば、この制約は、定義されたカテゴリに限定された「視点」という代償を払いつつ、LLMにより大きな予測可能性をもたらします。最後に、Scikit-LLMがscikit-learnのオブジェクトや構文と互換性があるため、パイプラインには追加の前処理ステップを組み込むことも可能です。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x