言語モデルの推論中に計算される値であるアクティベーションの量子化は、学習後に固定される重みの量子化よりも困難であることが明らかになっている。 Machine Learning Masteryの記事によれば、SmoothQuant法とFP8フォーマットはこの問題に対する2つの解決策を提供し、vLLMプロジェクトのLLM Compressorライブラリはそれらを適用することを可能にする。
アクティベーションが量子化困難な理由
ネットワークの重みは学習が完了すると固定されるため、デプロイ前に一度だけ量子化できる。一方、アクティベーションは処理されるトークン、シーケンス内での位置、および前の層に依存する。その値の範囲はクエリごとに変化する可能性があり、一部のチャネルには持続的な極端な値が含まれることがある。
2つのアプローチが存在する。静的量子化はキャリブレーション段階で計算されたスケールを使用するため高速だが、キャリブレーション範囲外の入力は切り捨てられる可能性がある。動的量子化は実行時に各テンソルを測定するため、各入力に適応するが、計算コストを追加する。記事では特に、最終次元の各ベクトルに独自のスケールが割り当てられる、符号付き対称INT8によるトークン単位の動的量子化を紹介している。
範囲の選択もトレードオフを伴う。すべての値をカバーすると、一般的な値に対する量子化ステップが粗くなり、一方で切り捨ては極端な値を犠牲にして一般的な値の精度を向上させる。最適な選択は、後続の重みがこのベクトルをどのように利用するかに依存する。
SmoothQuantとW8A8フォーマット
W8A8は、行列乗算のためのINT8の重みとアクティベーションを指す。ハードウェアがこれらの整数計算を効率的に処理する場合、この構成はメモリ転送を削減し、計算スループットを向上させることができる。バイアス、正規化、または残差接続は、より高い精度のままに保つことができる。
SmoothQuantは、アクティベーションの困難の一部を重みに移すことで極端な値を処理する。その原理は、量子化前に数学的に等価な変換を行うことに基づいている。重要なアクティベーションのチャネルはより大きなスケールで除算され、対応する重みの列は同じスケールで乗算される。記事は、この変換は正確な等価性を示すだけであり、実際の実装ではキャリブレーション用の重みとアクティベーションの大きさからスケールを導出すると説明している。
著者は、W8A8構成がW4A16やBF16フォーマットよりも高速であることが保証されていないと指摘している。W8A8は、特にプリフィル時や大きなバッチサイズにおいて、整数行列計算を活用できる可能性がある一方、W4A16は重みの読み込みバイト数が少なく、小さなバッチサイズでのデコードに適している可能性がある。記事では両方のフェーズを測定することを推奨している。
浮動小数点量子化
FP8は、単にFP32値からビットを取り除くことではない。スケーリングされたFP8スキームでは、テンソルがスケールで除算され、その後、各結果が表現可能なFP8値に丸められる。INT8とは異なり、FP8の値は均等に間隔が空いていない。ゼロ付近ではより細かく、大きな値ではより間隔が広くなる。
記事では特に、指数部4ビット、仮数部3ビットのE4M3と、指数部5ビット、仮数部2ビットのE5M2を区別している。E4M3はより高い精度を提供し、E5M2はより広い範囲を提供する。選択はハードウェアと推論エンジンに依存する。
LLM CompressorのレシピであるFP8_DYNAMICは、モデルをHugging Faceフォーマットに変換し、重みを最近傍丸めで量子化し、推論中にアクティベーションのスケールを計算する。SmoothQuantとFP8を組み合わせたバリエーションも提案されている。記事によれば、vLLMの現在のバージョンは、NVIDIA Ada Lovelace、Hopper、Blackwell GPUおよび一部のAMDアクセラレータ上でFP8をサポートしており、対象ハードウェアの互換性マトリックスを確認することを推奨している。
