AIモデルを圧縮する方法は量子化だけではありません。Machine Learning Masteryの記事では、値の数や構造のサイズを削減する別の2つのアプローチ、刈り込みと知識蒸留を紹介しています。より小さなモデルは、アプリケーションが期待する動作を維持できれば、推論を高速化できます。
量子化はモデルの値の表現方法を変更します。一方、刈り込みは特定のパラメータをゼロにしたり、より広範な構造を削除したりします。知識蒸留は、小さなモデル(「生徒」)を、より大きなモデル(「教師」)の動作を再現するように訓練します。
刈り込みとスパース性
「マグニチュード」と呼ばれる手法は、単純な仮定に基づいています:絶対値が小さい重みは出力への影響が少ないというものです。提供されているコード例は、1024×1024の行列にこの原理を適用し、削除対象とする重みの半分にあたる0.5の比率を設定しています。
しかし、刈り込みを行った行列も密な形式で保存されます。CSR(圧縮行格納)形式は、非ゼロの値とその位置を示すメタデータのみを保持します。記事によれば、この形式がメモリを削減するのは、メタデータのコストが削除されたデータよりも小さい場合のみであり、計算を高速化するのは、行列の形状、スパース性のレベル、データ型、およびハードウェアが効率的な疎行列計算カーネルを備えている場合に限られます。
構造化刈り込みと知識蒸留
構造化刈り込みは、アテンションヘッド、MLPチャネル、レイヤー、ブロックなどの単位全体を削除します。その結果は、多くの場合、より小さな密なモデルとして表現でき、様々なハードウェアで高速化が容易になります。トランスフォーマーのMLPでは、各中間チャネルはアッププロジェクションの行によって生成され、ダウンプロジェクションの列によって消費されます:一方を削除するには、もう一方も削除する必要があります。
記事では、パラメータkeep_channelsは割合ではなくチャネル数を指定すると説明しています。これを2048に設定すると、中間幅が8192チャネルから2048チャネルに削減されます。コードはテンソルの形状の互換性を保証しますが、保持されたチャネルが最も重要でないことを証明するものではありません:実際の手法では、レイヤーの出力を評価し、リカバリーファインチューニングを行います。アテンションヘッドの削除には連携した変更が必要であり、GQA(グループ化クエリアテンション)では、複数のクエリヘッドが同じKVヘッドを共有する変種があるため、任意の削除はこれらのグループ化を破壊する可能性があります。
知識蒸留は、教師モデルからの信号(出力分布、中間表現、生成データ)を用いて生徒モデルを訓練します。損失関数は温度TとKullback-Leiblerダイバージェンスに基づき、両分布が一致するときにゼロになります。コード例では、ランダムに初期化された2つの小さなGPT-2タイプのモデルを、単一ステップで訓練しています。記事は、これが有用なモデルを生成しないと指摘しています:実際の実験には、事前学習済みの教師モデルと代表的なテキストが必要です。
厳密な比較のため、記事は、同じクエリとハードウェア上で、別に確保したデータでの品質、パラメータサイズ(バイト単位)、最大メモリ使用量、プリフィルレイテンシ、デコードスループットを測定することを推奨しています。刈り込みや蒸留は、パラメータ数が大幅に減少した場合でも、モデルの動作を変更する可能性があります。
