大規模言語モデル（LLM）を特定の分野に特化させるための従来のアプローチは、モデルをファインチューニングすること、つまり特定のデータセットで追加学習を続けることです。あるチュートリアルは、この手法を、モデルを固定したまま、上部に配置された小さな分類器のみを学習するというより軽量なソリューションと比較しています。ニュース記事の分類タスクでは、前者の戦略が最高の精度を達成しますが、はるかに多くの時間を要します。
最初の戦略はLoRA（Low-Rank Adaptation）に基づいており、これはモデルの事前学習済み重みを凍結し、学習可能な小さな適応行列を追加するアルゴリズムです。これらの行列は通常、モデルサイズの1〜2％を占めます。チュートリアルでは、メモリ節約のためにモデルを4ビット精度で維持する量子化バリアントであるQLoRAを使用しています。第二の戦略、いわゆる固定埋め込みは、LLMを特徴抽出器としてのみ使用することです。各テキストはモデルの最終隠れ層から数値ベクトル（埋め込み）に変換され、これらのベクトルを用いて従来の分類器（scikit-learnライブラリの100本の木からなるランダムフォレスト）を学習します。
実験はGoogle Colab上でT4 GPUを用いて実施されました。使用モデルはQwen/Qwen2.5-1.5B、データセットはニュース記事を4カテゴリに分類したag_newsです。比較を迅速に保つため、著者らは800件の訓練記事と200件のテスト記事のサブセットで作業しています。
対照的な結果
固定埋め込み戦略では、ベクトルの抽出に96.5秒、分類器の学習にはわずか2.866秒を要しました。テストセットでの精度は82.0%に達しました。チュートリアルは、時間の大部分が特徴抽出に費やされ、分類器の学習はほぼ瞬時であると指摘しています。
LoRA戦略では、300.3秒の学習で87.0%の精度を示しました。精度向上には代償があり、チュートリアルによれば、プロセス全体に3倍の時間がかかり、より大規模なデータセットではこの差がさらに顕著になる可能性があります。
どちらを優先すべきか
著者らは、迅速な学習と低い計算負荷を求め、かつ基盤モデルの過学習を避けたい場合には固定埋め込みを推奨しています。一方、対象分野において精度差を縮めることが決定的に重要である場合や、モデルがその分野に深く根ざした特定のニュアンスを学習する必要がある場合には、QLoRAによるファインチューニングが適しています。
純粋な生成タスク（テキストやコードの生成など）では、推論が変わります。専門的な動作を得るためには、通常、ファインチューニングなどのモデル適応が必要です。ただしチュートリアルは、最大性能が多少譲歩可能な基準である無料デプロイメントにおいて、一部の生成用途では固定埋め込みが実行可能な代替手段となり得ると注記しています。
