- ツールは、マシンに収まるオープンモデルを、量子化・メモリ使用量・推定速度とともに一覧表示します。
- 計算はすべてブラウザ内で行われます。
- メモリが足りない場合、RAMへのオフロードで動作しますが、速度は低下します。
- 数値は推定値であり、実際の結果は実行ソフトウェアやドライバーによって変わります。
どのAIモデルが私のマシンで動くか?グラフィックカード、Macを選択するか、メモリ容量を入力してください:このツールは、収まるオープンモデルを、可能な限り精度の高い量子化、占有メモリ、および1秒あたりのトークン数の推定速度とともにリストアップします。すべてはブラウザ内で計算されます。
使い方
- リストからマシンを選択するか、「その他のマシン」を選んでメモリ容量と帯域幅を入力してください。
- 同一のグラフィックカードの枚数とシステムのRAM容量を指定してください:カードのメモリが不足する場合、モデルの一部をRAMにオフロードするために使用されます。
- 用途(会話、画像認識、推論、長文コンテキスト)と希望するコンテキスト長を選択してください。
- 表を確認してください:余裕を持って収まるモデルが最初に表示され、次にぎりぎり収まるモデル、そしてRAMへのオフロードが必要な(低速な)モデルが続きます。
メモリ使用量の計算方法
モデルのメモリ使用量は、3つの部分の合計です:重み(パラメータ数×量子化ビット数÷8)、KVキャッシュ(コンテキスト長と同時リクエスト数に応じて増加)、および実行時のオーバーヘッド。各モデルについて、ツールはメモリに収まる最も精度の高い量子化を採用します。パラメータ数、レイヤー数、KVヘッド数は、表の下に表示された日付で読み取られたHugging Face上の公開モデル設定に基づいており、仮定値ではありません。
特定のマシンではなく、特定のモデルから始めたい場合は、ローカルAIのVRAM計算ツールを使用してください;ローカル実行が費用対効果があるか知りたい場合は、ローカルAIかAPIかをご覧ください。
知っておくべき制限事項
これらの数値は推定値であり、公開測定値に基づいて校正されていません:実行ソフトウェア(llama.cpp、Ollama、LM Studio、MLX、vLLM)、ドライバー、モデルフォーマットによって実際の結果は変わります。速度は範囲で示され、メモリ帯域幅の50〜70%を各トークン生成ごとに読み取る重みのサイズで割った値です。エキスパート混合(MoE)モデルでは、速度は活性化パラメータに依存しますが、これはモデル名が示す場合のみ分かります。それ以外の場合、表示される速度は最低値です。ハイブリッドアテンションやスライディングウィンドウを持つモデルでは、表示されるキャッシュ(「≤」で表示)は上限値です。公開設定が読み取れるモデルのみがリストされ、ライセンスは宣言通りに表示されます:商用利用の前に確認してください。このツールは、フランス語での品質や実際のマシン上での性能を測定するものではありません。
よくある質問
なぜ「収まる」モデルが遅いのですか?
1トークンを生成するには、メモリ内の活性化された重みを再読み込みする必要があります。モデルの一部がシステムRAMにオフロードされると、その帯域幅はグラフィックカードよりもはるかに低いため、速度が低下します:ツールはこれを「RAMへのオフロードで収まる(低速)」と表示します。
私のハードウェアがリストにありません、どうすればいいですか?
「その他のマシン」を選択し、メーカーが示すメモリ容量(GB単位)とメモリ帯域幅(GB/s単位)を入力してください。