ローカルai向けvramメモリ計算機

AIモデルはあなたのグラフィックスカードに収まるでしょうか？この計算機は、モデルをローカルで実行するために必要なメモリを推定し、マシンごとに収まるかどうか、またテキスト生成がどのくらいの速度で行われるかを示します。

使用方法

1. モデルのサイズをパラメータ数（10億単位）で入力してください。MoEモデルの場合は、アクティブパラメータ数も追加してください。
2. 量子化、コンテキストサイズ、KVキャッシュの種類、並列リクエスト数を選択してください。
3. 同一のGPUの数、システムRAMとその帯域幅を指定してください。
4. 表を確認してください：各マシンは「メモリに収まる」、「RAMにオーバーフローする」、「収まらない」のいずれかに分類されます。

計算の背後にある原理

• 重みは、パラメータ数 × 重みあたりのビット数 ÷ 8 で占有されます：量子化はこの部分を直接削減します。
• KVキャッシュは、コンテキストと同時リクエスト数に応じて増加します：2 × レイヤー数 × KVヘッド数 × ヘッド次元 × 値あたりのバイト数 × コンテキスト × 並列度。このツールはモデルサイズに基づいて典型的なアーキテクチャを使用します。
• バッファとランタイムのために、0.8GBの固定オーバーヘッドに加え、モデル重みの5％が追加されます。
• 生成速度はメモリ帯域幅によって制限されます：速度 ≈ 帯域幅の60％ ÷ アクティブな重み。モデルがRAMにオーバーフローする場合、計算はGPU内の部分と（はるかに遅い）RAM内の部分を組み合わせます。

知っておくべき制限事項

これは典型的なアーキテクチャに対する推定値です。効率的なアテンションを持つモデルは、より少ないキャッシュを必要とします。速度はプロンプト処理を除外しています。マシンの値はメーカー公称値です。