ウェイトのみの量子化は、トランスフォーマーモデルの一部のパラメータを整数形式で保存しつつ、アクティベーションはFP16またはBF16のまま保持する技術である。この技術は、メモリ使用量と、テキスト生成時に大きな負荷となるウェイトの読み込みコストを削減することを目的としている。最近公開されたチュートリアルでは、その数学的原理と、PyTorchや他の推論エンジンで適用するためのツールについて詳述している。
生成時、モデルは新しいトークン(生成するテキストの各単位)ごとに自身のウェイトを読み込む。バッチサイズが小さい場合、これらのウェイトの移動は計算自体よりも多くの時間を要することがある。INT8のウェイトは、FP16またはBF16のウェイトの半分の容量しか占有しない。量子化は計算を高速化することもある。なぜなら、多くのAI専用GPUは、低精度での行列演算をFP16よりも高速に実行するからだ。ただし、実際の性能向上は、ハードウェア、計算カーネル、モデルの形状に依存する。
スケールとゼロポイントの原理
紹介されている手法は、スケールとゼロポイントを使用する非対称アフィン対応に基づいている。スケールは表現可能な2つの値の間隔を決定し、ゼロポイントは実数ゼロに対応する整数コードである。ゼロを値の範囲に含めることで、ゼロを正確に表現できる。チュートリアルでは、この例は計算を示すものであり、効率的なストレージを示すものではないと注記している。uint8テンソルは、8ビット未満であっても要素ごとに1バイトを占有する。チャネル単位またはグループ単位の量子化は、大規模言語モデルのウェイト品質をより良く保つことが多い。なぜなら、各チャネルまたはグループが独自の範囲を持つためである。
PyTorchでは、TorchAOライブラリのquantize_()関数が、torch.nn.Linearモジュールのウェイトをインプレースで置き換える。これは既に学習済みのモデルに適用されるもので、追加の学習ステップを伴わない学習後量子化に該当する。チュートリアルでは、アクティベーションをBF16のままにした、チャネル単位の非対称INT8設定を示している。TorchAOは、Int4WeightOnlyConfigのようなハードウェアに適したプリセットも提供しており、transformersライブラリはモデル読み込み時にそのような設定を適用できる。著者は、数学的に有効な設定が必ずしも最速ではないため、モデル全体での性能測定を行うことを推奨している。
GPTQ、AWQ、GGUF
GPTQとAWQの手法は、キャリブレーションデータを使用して、量子化誤差がモデル出力に与える影響を低減する。GPTQはウェイトを層ごとに量子化し、残りのウェイトを調整して前の誤差を補償する。transformersライブラリは現在、GPTQエンジンとしてGPT-QModelを利用している。Activation-aware Weight Quantization(AWQ)は、代表的なアクティベーションに基づいて重要なウェイトを特定し、低精度への量子化前にそれらを保護するスケール係数を探索する。この手法については、チュートリアルはリファレンス実装であるllm-awqを使用しており、その固有のインストール手順に従う必要がある。また、モデルとしてTinyLlama/TinyLlama-1.1B-Chat-v1.0を使用する。パラメータ探索は、mit-han-lab/pile-val-backupの検証パーティションから取得した128サンプル(各512トークンのシーケンス)に基づいて行われる。
llama.cppエコシステムで使用されるGGUFフォーマットは、メタデータ、トークナイザー、量子化されたテンソルのコンテナとして機能するが、それ自体が量子化アルゴリズムではない。ワークフローは2段階で行われる:元のモデルを高精度(bfloat16)のGGUFに変換し、その後、Q4_K_Mタイプで量子化する。このタイプは混合型であり、テンソルによって異なるエンコーディングを使用する。したがって、ファイルサイズはパラメータあたり4ビットに正確には対応しない。チュートリアルは、利用可能な最良のソースから量子化すべきであり、再量子化は近似誤差を累積すると指摘している。
チュートリアルによれば、評価は代表的な入力に対して、パープレキシティ、対象タスクでの精度、生成結果の並列比較を用いて行うべきである。提供されているスクリプトは、CUDA GPU上で、FP16モデルとfacebook/opt-125mのGPTQバージョンについて、ピーク時に割り当てられたメモリと生成時間の中央値を測定する。チュートリアルは、フォーマット、数値スキーム、圧縮データのレイアウト、推論カーネルが連携して機能する場合にのみ量子化が有用であると結論づけている。
